Yahoo seo Google > インデックス > Googleのインデックス更新には、Googlebotの2度のクロールが必要か?

Googleのインデックス更新には、Googlebotの2度のクロールが必要か?

Googleのインデックス更新には、Googlebotによる2度のクロールが必要なのではないか? 2度目のクロールを終え、当Yahoo seo Googleブログの<モバイルユーザビリティ>有効数値が一気に増加したことから、そのように推測した。
その結果で理解できたことが、Googlebotのクロールにおけるインデックスのに関する件だ。
以前、Googleのヘルプには “404 not found” とインデックスからの削除について、以下のような解説がされていたと記憶している。その解説とは「Googlebotがクロールする過程で発見した “404 not found” をレスポンスするウェブページをインデックスから削除するのは、そのページを再度Googlebotがクロールした時」というものだ。つまり、あるウェブページがインデックスから削除されるのには、最低2回はGooglebotがクロールしなければならないということだ。誤って “404” のをレスポンスさせてしまったケースを想定して、そのような措置を取っていると解説されていたように記憶している。(Googlebotの2度目のクロールと “404 not found” の処理に関係する、18日付記事「」を参照のこと。)
今回、当Yahoo seo Googleブログに起こったことは、この “404” とインデックス削除に良く似ている。
robots.txtによるブロック、もしくは移行に関係する何かによって、したへのGooglebotのクロールがブロックされた。それが原因でクロール日時が遡って表示されたり、キャッシュ年月日とパソコン用、用Googlebotのクロール日時が異なる事例が発生したのである。
Googlebotのクロールがブロックされたのは、2月28日までのインデックスリクエストであった。3月1日以降のインデックスリクエストに対しては、Googlebotはブロックすることなくクロールを行った。
この2月28日と3月1日を分けたものとは何だったのか?それこそ1度目のクロールと2度目のクロールだったのである。
下は最終更新日「2019/03/12」の<>のである。2019年3月12日のモバイルユーザビリティ画像最も山が低く表示されているのが2月3日の「有効」表示574である。一時、1,043までになった「有効」表示は574にまで減少したのである。
先に、3月1日以降のインデックスリクエストにGooglebotはブロックすることなくクロールを行ったことを伝えたが、それは2月28日に全てのURLに対するインデックスリクエストを終了させたからだろうと推測している。つまり、robots.txtで旧スマートフォン用の “sp” と “all” のパラメータ付きURLをブロックした上での、1度目のクロールが全て終了したのである。
そして3月1日以降のインデックスリクエストは、2度目のクロールをリクエストしたことになる。この2度目のリクエストが全て終了したのが3月12日で、その結果が最終更新日「2019/03/12」の<モバイルユーザビリティ>の、一気に山が盛り上がった形となって表れたのである。

内部リンクがGoogle seoにとって重要な原因

上記したことで判明するのがの重要性である。それは1度目のクロール、さらに2度目のクロールも、それが完了した時点で結果となって表れていることから理解できる。
つまり内部リンクは外部からのと異なり、ドメイン内の全てのウェブページに影響を及ぼしている。それが原因で、レスポンシブwebデザイン化して以降のウェブページに “sp” や “all” のパラメータ付きURLは存在していないにも関わらず、上の問題はそうしたウェブページにも及んでいる。
大規模なサイトほど、Googlebotがクロールするのに時間が掛るし、さらに2度目のクロールが必要となれば、その完了にも時間が掛る。Googleという検索エンジンに対して、問題が生じている大規模サイト程、不利なものはないと言えるだろう。に「次世代パンダアップデートはスモールビジネス、小規模サイトにポジティブな影響を与える」とGoogleから発表されたが、それもこのクロールと関係があったのではないか?(2014年3月21日付記事「」を参照のこと。)
追記(2021年7月26日):2度目のGooglebotのクロールで、旧ドメインの「ページにリダイレクトがあります」から消えたと思われる事例を「」で報告した。
関連のseo記事
  1. (2019/03/25)
  2. (2020/04/07)

コメント

非公開コメント