Yahoo seo Google > Google2020年seo > インデックスをリクエストしても、Googlebotがクロールしない原因は、モバイルファーストインデックスだった

インデックスをリクエストしても、Googlebotがクロールしない原因は、モバイルファーストインデックスだった

インデックスをリクエストしても、キャッシュが更新されていないページがあるのを、Yahoo seo Googleブログに見つけた。
Googlebotがクロールしない原因は、モバイルファーストインデックスであった。
前回記事「」で報告した、コンテンツの更新作業が1月20日に終了した。
リンクの承認について未だ断定的な結論は下さないが、その思いを強くさせる現象に、更新作業終了後に気付いた。
キャッシュが未更新のページを見つけたのである。

更新作業を終えたページは、その都度、Search Consoleの<URL検査>からインデックスをリクエストした。
だから、更新作業を終えたページは、キャッシュも新しいコンテンツで更新される。
しかし、更新された<インデックスカバレッジ>を追っていくと、クロールされた筈の日時で表示されていないページがあるのを発見した。
キャッシュを見ると、リクエストする以前の、更新前のコンテンツが表示されていた。
そこで改めて、そのページを<URL検査>すると、インデックスをリクエストしたのに、そのリクエストはスルーされ、以前のままのクロール日時を表示させていた。
リクエストをスルーされたのが全部で59ページあり、その内の53ページが、前回記事で報告した、モバイルファーストインデックスへの移行を確認したページだったのである。

モバイルファーストインデックスへの移行推移

あるページの推移を紹介しよう。
そのページコンテンツに新規に内部リンクを付ける修正を行ったのが、2019年11月11日だった。
修正後、インデックスをリクエストするために<URL検査>した時の、パソコン用Googlebotのクロール日時が2019年10月18日で、スマートフォン用Googlebotが2019年4月2日であった。
」で書いた通り、パソコン用、スマートフォン用とそれぞれ別個にクロールするので、クロール日時がずれるのは不思議ではない。
ただし、あまりにクロール日時がずれているのは、構造の問題が疑われる。
だが、今回はメイン・コンテンツに修正を加えたのだから、スマートフォン用Googlebotもクロールする筈だと考えていた。(参照記事「」)
しかし、<モバイルユーザビリティ>に表示されるスマートフォン用googlebotのクロール日時は2019年4月2日のままであった。
さらに、メイン・コンテンツの内部リンクが影響したからかは不明だが、このページはリクエストから14日後の11月25日を最後に、<モバイルユーザビリティ>から消えてしまったのである。

このページに2度目の修正を行ったのが、2019年12月30日である。
そしてインデックスをリクエストするため<URL検査>した時に、モバイルファーストインデックスに移行したことを発見した。
スマートフォン用Googlebotのクロール日時は12月14日。
スマートフォン用Googlebotにクロールされていたにも関わらず、<モバイルユーザビリティ>には、未だ、表示されていなかった。
とにかく、修正を行ったので、インデックスをリクエストした。
通常であれば、12月30日の日付でキャッシュも更新されていただろう。

3度目にこのページを<URL検査>したのが、2020年1月23日だ。
キャッシュが更新されていないことを発見したからである。
結果も同じで、12月30日のリクエストは見事にスルーされていた。
スルーされたヒントとなるようなものも、発見出来ない。
参照元ページも「検出されませんでした」である。
だから再度、インデックスをリクエストした。
すると、1月24日の<モバイルユーザビリティ>に表示され、スマートフォン用Googlebotも1月23日のクロール日時を表示させた。
このページの修正とインデックスのリクエスト過程を整理すれば、以下のような推移になる。
  1. 11月11日、メイン・コンテンツ修正
  2. 12月30日、メイン・コンテンツ修正、モバイルファーストインデックス移行を確認、インデックスをリクエスト
  3. 1月23日、リクエストのスルーを発見、再度、リクエスト
  4. 1月24日、インデックス更新、<モバイルユーザビリティ>にも表示
この推移をみれば、リンク先コンテンツの更新が、リンク承認の時だと想像するのも、不思議ではないだろう。

モバイルファーストインデックス移行ページと、リンク先コンテンツのスマートフォン用Googlebotのクロール

インデックスを再度リクエストしても、またしてもスルーされているページもある。
モバイルファーストインデックスに移行するページが増えているのは事実だが、Yahoo seo Googleブログの大半は、未だパソコン用Googlebotがクロールの中心である。
だから、リクエストが再三スルーされるページも、リンク先コンテンツへの、スマートフォン用Googlebotのクロールが原因であろうと思われる。
メイン・コンテンツに修正を加えながらも、未だにスマートフォン用Googlebotのクロール日時が2019年4月4日というページが複数あるからだ。
Google検索エンジンへのseoは、闇が深いと言えるだろう。

関連する記事

『インデックスをリクエストしても、Googlebotがクロールしない原因は、モバイルファーストインデックスだった』と同一カテゴリのseo記事

コメント

非公開コメント