Yahoo seo Google > サイトマップ > サイトマップのlastmodはGoogleにクロールをリクエストするウェブマスターからのシグナル

サイトマップのlastmodはGoogleにクロールをリクエストするウェブマスターからのシグナル

サイトマップのlastmodは、更新のシグナルであると同時に、Googleにクロールをリクエストするウェブマスターの意思を伝えるものだ。Yahoo seo Googleブログの修正で見られた実例を紹介する。
前回記事「」から、今回のブログまで時間が掛った。その理由は、それまで私が立てた仮説を立証できうるようなのデータ更新がなかったからで、そうした更新が得られなかった原因はYahoo seo Googleブログの修正が中途半端だったからだと考え、カテゴリの大規模な再編に取り組んだからである。

Googlebotのクロールが停滞

カテゴリページの刷新中、は明らかに停滞した。下は「最終更新日2021年5月7日」の<クロールの統計情報>のであるが、前回記事で紹介したクロールリクエスト374を記録した27日以降、リクエストがすこぶる低調なのが理解頂けるだろう。2021年5月7日更新、HTTPSクロールの統計情報画像
記事ページのカテゴリを変更する際には、必ずそれをツイートした。このツイートに反応しているのかは不明だが、必ずGooglebotのクロールがアクセス解析には記録された。しかし、そのクロールは<クロールの統計情報>には反映されない。<URL検査>した際のGooglebotのクロールが反映されないのと同じである。だから、この<クロールの統計情報>に記録されるクロールは、ウェブマスターにクロールをリクエストされたものしか反映されず、それゆえ、Googleのプライマリインデックス並びにウェブサイトのに関連するクロールだと考えて良いだろう。
この<クロールの統計情報>で、「更新」と「検出」に注目して検証していると、表示のはカテゴリ変更を行っていないものが多いという印象を受けた。つまりはGooglebotが前回クロールした時から更新されていないページである。23日付記事「」で、Googlebotはサイトマップを読み込んでから高度なクロールを行うことを書いた。それを念頭に置くと、未更新のページだけを「更新」「検出」していく理由が見えてくる。のサイトマップからは、ページの「更新」シグナルは読み取れないため、それはウェブマスターがクロールをリクエストしていないこととなり、更新されているページであるにも関わらず、Googlebotはクロールを行わないのである。
FC2ブログのサイトマップから更新のシグナルが読み取れない原因については、21日付記事「」を参照して貰えば事足りるだろう。つまりは明らかに更新されているページであるにもかかわらず、サイトマップの<lastmod>が更新されていないから、Googlebotはウェブマスターの意思に即してクロールを断念する。そのため、FC2ブログユーザーはを使用し、クロールをリクエストすることで、ウェブマスターの意思を伝える。要するに、FC2ブログのサイトマップが正しく<lastmod>を使用してくれれば、をリクエストする労力は省かれるのである。

サイトマップとGooglebotの活性化

サイトマップの重要性を再認識したのは、先にも述べたカテゴリの刷新が原因だ。この刷新に際し、4つほどカテゴリページを増やした。そして、増えたカテゴリページはサイトマップにも記載された。そして、新規URLが記載されたサイトマップによって、Googlebotのクロールが活性化したのを発見した。
毎日更新される<><パンくずリスト>に、その活性化は見て取れる。<モバイルユーザビリティ>「最終更新日5月4日」データでは5月3日が最終検出日だった。それが「最終更新日5月10日」データでようやく5月8日が最終検出日のページが表示された。それまで、検出日が更新されることは一切なかった。<パンくずリスト>では「最終更新日5月5日」から「最終更新日5月7日」までの3日間、データの最終検出日は変わらなかった。
カテゴリページを増やし始めたのは5月8日からで、それがサイトマップが更新され始めた日である。未だに移行していないYahoo seo Googleブログにおいて優位となるのはパソコン用Googlebotで、それによるデータとなる<パンくずリスト>「最終更新日5月8日」データで更新が見られたのは不思議でも何でもない。
この事例からハッキリしたことは、サイトマップこそGooglebotのクロールの要であり、それは<lastmod>による「更新」も含めて、ウェブマスターがプライマリインデックスされることを意図したURLのリストだとGoogleが考えていることだ。(7日付記事「」を参照のこと。)
現状、FC2ブログのサイトマップがウェブマスターの意思をシグナルで発信できないのであれば、新規に記事をエントリーしサイトマップ記載のURLを増やすこと、また既存ページはインデックスリクエストを使用する以外に方法がない。だが、先にも紹介した4月27日の374のクロールリクエストは、カテゴリ変更をしたページをインデックスリクエストした結果である。労力は掛るが、ウェブマスターの意思を伝えることはできる!ということだ。

旧ドメイン「ページにリダイレクトがあります」が増加

このリクエストで旧の「ページにリダイレクトがあります」の数値が1,153に増加した。2021年5月8日更新、旧ドメイン「ページにリダイレクトがあります」画像
この数値は「最終更新日2021年5月4日」データで前回1,149から1,151に増加し、「最終更新日2021年5月8日」データで1,151から1,153に増加した。
「最終更新日2021年5月8日」データで増えた2ページの内の1ページは、「最終更新日2021年5月4日」データでは「クロール済みインデックス未登録」に表示されていたものである。だから分かるのだが、これは長らくの構造が変わらなかったために用Googlebotのクロールがなかったページに、カテゴリ変更に伴うリンク構造の変化でGooglebotのクロールが行われたためである。このページが新たにされたのは、旧ドメインにおいて、このページはパソコン用とスマートフォン用で異なるURLがインデックスされていたからである。
Yahoo seo Googleブログはレスポンシブwebデザイン化される以前、パソコン用とスマートフォン用で異なるとURLがあった。(19日付記事「」を参照のこと。)
つまりは、レスポンシブwebデザイン化したにも関わらずコンテンツは統一されておらず、スマートフォン用の<URLパラメータ>を付けたURLでコンテンツはインデックスされたままであったから、今回、リダイレクトされることになったのだ。
今のYahoo seo Googleブログにとってスマートフォン用Googlebotのクロールが重要に思えたのは、リンク構造が長らく未更新だったため、そのクロールが極めて稀だったからだ。だが、前回記事で紹介した旧ドメイン「ページにリダイレクトがあります」の、最も古いクロール日時を見ると、「クロールが稀だった」では済ませられない気がするのだ。
スマートフォン用Googlebotのクロールにもサイトマップが関係していることは間違えないだろう。だとすれば、この稀なクロール頻度はリンク構造の未更新ばかりが原因だとは思えないのである。
追記(2021年5月17日):カテゴリの修正で見逃してしまっていたSearch Consoleに、重要なデータの更新があった。あるのに気付いた。「」を参照のこと。
追記(2021年6月2日):大規模に再編したカテゴリページをインデックスリクエストしたのだが、プライマリンデックスが改まることはなかった。詳細は「」を参照のこと。
関連のseo記事
  1. (2021/06/30)

コメント

非公開コメント