Yahoo seo Google > サイトマップ > robots.txtのサイトマップとlastmodのseo

robots.txtのサイトマップとlastmodのseo

robots.txtに記載したFC2サイトマップの誤ったlastmodがGoogle seo上の問題となって、Yahoo seo GoogleのURL統一を妨げていたのではないか?
前回記事「」で報告した301と自作サイトマップ、さらにそれがどのようにに関係しているのかを、確信を持って理解したいと考えたため、過去記事の修正とに集中していた。
今こうしてYahoo seo Googleブログをしているのは、たった1つだが、確信を抱けるのデータ更新があったので、それを紹介しようと思ったからだ。先ずは2022年3月11日朝の定点観測時に、サイトマップの送信日時が再び更新されていることを確認した。2022年3月11日更新、HTTPSのサイトマップ送信日時の画像この件から報告していこう。
9日だった送信日時が24日で更新され、25日に再び2019年4月9日に戻り、そして今回、3月11日で再び更新されたことになる。
この更新を受けて、当初、私は危機感を抱いた。なぜなら、Yahoo seo Googleが正規で統一されない原因は、のサイトマップに記載された<lastmod>ではないか?と考え始めていたからだ。

URL統一を妨げているのはFC2サイトマップの<lastmod>ではないか?

今までもサイトマップの<lastmod>に対する疑念を記事にしていたが、それは主に、“更新” に関するものであった。だが、今回の疑念が今までと異なるのは、それが “更新” ではなく、“遡り” に関係している点である。つまりはサイトマップの<lastmod>が、301リダイレクトで “更新” されたURLをリダイレクト前の状態に “遡り” させる、というものである。
この “更新” から “遡り” に至る過程を物語るのに最も相応しい記事が、27日に書いた「」であろう。つまりインデックスリクエストによってファストトラックインデックス登録されたURLが、を経てプライマリインデックスされるには、更新が確認できる “何か” が必要なのであろう。そして、その “何か” とは、Search Console<インデックスカバレッジ>に「有効」表示される際の、“送信して登録されました” のテキストが示唆するように、それはサイトマップであると思われるのだ。
何度も書いている通り、FC2のサイトマップは、そのURLの記事がエントリーされた日付を<lastmod>に表示させ、本来の用途である “更新日” を表示させない。(21日付記事「」を参照のこと。) そして、この本来の用途として機能していないFC2のサイトマップは、Googleによって信頼されていないだろうと推測していた。<Web担当者Forum>の記事「」を読んでいたからだ。しかし、その推測は間違えで、GoogleがFC2のサイトマップに信頼を置いていたら?
インデックスリクエストされたURLが、Yahoo seo Googleの旧、“net” “us” “blog40.fc2.com” のいずれかのものであった場合でも、301での現在ドメインのURLにリダイレクトされているからこそ、ファストトラックインデックスによる “即席のインデックス” が可能だった。そしてファーストトラックインデックスされたURLの更新日が、リダイレクトされていることがGoogleによって確認された日付に近いものであれば、何の問題もなく、新しいURLでプライマリインデックスされただろう。しかし、その更新のシグナルをFC2のサイトマップに求めれば、そこに記載されているのはエントリーされた日付なので、それはGoogleにファーストトラックインデックスされたURLはエントリーされた日から何ら更新されていないことをアナウンスしていることになる。言うなれば、ファーストトラックインデックスによる “更新” が、プライマリインデックスによって “遡り” させられるのである。それが原因で、301リダイレクトによるURLの統一は失敗に終わるのである。
こんな推測を抱いていたので、FC2サイトマップ送信日時の更新に危機感を抱いた。FC2のサイトマップがプライマリインデックスに参照されてしまえば、<lastmod>が本来の更新日が表示されるように修正されない限り、Yahoo seo GoogleのURL統一は未来永劫、叶わない夢となるからである。
だが、このFC2サイトマップの<lastmod>とは別の推測も行っていた。それこそrobots.txtである。サイトマップの<lastmod>もGoogle seoには重要ではあるが、最も重要なのはrobots.txtではないか?と考えていたからである。
が取得したURLの情報は、robots.txtとともにオフラインで処理されるのではないか?だからrobots.txtからFC2サイトマップのURLを削除すれば、そのサイトマップはプライマリインデックスに参照されないのではないか?実はそうした考えがあったので、前々回記事「」で報告した通り、robots.txtからFC2サイトマップのURLを削除したのだ。

robots.txtはオフライン処理に利用される

Search Consoleの<インデックスカバレッジ>が「2022/03/12」で更新された。そこで目にしたのが、下のである。2022年3月12日更新、HTTPSの「インデックス登録されましたが、サイトマップに送信していません」画像「2022/03/08」データまでは「送信して登録されました」であった全てが、「インデックス登録されましたが、サイトマップに送信していません」に変わったのである。
「インデックス登録されましたが、サイトマップに送信していません」に変わっても、「」のに大きな変動は確認されていない。また、“サイトマップに送信していません” と表示されるのも、私がクロス送信したサイトマップがYahoo seo Googleの現在ドメインのルートにないからだと考えている。
それ以上に重要なのは、robots.txtに関する私の推測が間違えではないことが<インデックスカバレッジ>で確認できたことである。送信日時が更新されたように、FC2サイトマップへのGooglebotのはブロックしておらず、プライマリインデックスに際して参照できる状態でありながらも、参照されていないからだ。
10日付記事「」から引用する。
ウェブマスターがseo上の問題点を見つけられないのは、仕方がないことだと思っている。と言うのも、ウェブマスターがseo上の問題を見つけられない最大の原因は、Google自体がそれを問題だと認識していないからだ。ここで言うGoogleとは、search enginを担当しているエンジニアを指しているのではない。Googlebotであったり、RankBrainといった人工知能を指している。
Google seoに直接的に関わっているのはArtificial Intelligence(人工知能)なのだ。つまり我々ウェブマスターは、AIに誤った認識をさせないための最適化をしなければならないのである。
今後、AIがどのようにYahoo seo Googleを判断するのかは未知数なので、危機感を抱いたまま、推移を見守ろうと思う。
追記(2022年4月19日):旧ドメインのURLがスマートフォン用正規URLに選択されている事例から、再度、サイトマップの<lastmod>とGoogle seoを検証したが、結論はこの記事のものと同じであった。詳しくは「」を参照のこと。
追記(2022年11月5日):2022年2月18日にrobots.txtから削除したFC2サイトマップはスマートフォン用Googlebotによって参照されていたのではないか?詳しくは「」を参照のこと。
関連のseo記事
  1. (2022/03/29)

コメント

非公開コメント