Yahoo seo Google > Google seo 2019年7月~ > Googlebotの種類によって優先されるページがある?

Googlebotの種類によって優先されるページがある?

モバイルファーストインデックスに移行していないウェブサイトにおいては、パソコン用Googlebotがクロールしたページはスマートフォン用Googlebotがクロールしたページに優先されるのではないか?と思われる事例をYahoo seo Googleの旧ドメイン検証で発見した。
」で最初に報告し、「」でURLの削除に失敗したことを報告したページが遂にウェブ上から姿を消した。
今回はこのページが消えた経緯を調査することで、Googleのseoと301リダイレクトについて検証してみたい。

ウェブ上から消えたことを確認したのは2019年9月10日の朝だ。
いつもの定点観測で発見した。
しかし、消えているだろうことは9月9日に想像出来た。
search consoleの<URL検査>をして、そのページが「robots.txtによりブロックされました」と表示されたからだ。

下の画像を見てほしい。
これは旧“us”ドメイン「ページにリダイレクトがあります」のスナップショットである。
2019年9月10日取得、旧“us”ドメイン「ページにリダイレクトがあります」画像
問題のページは2番目に表示されているmode857であり、これは最終更新日が2019/09/07の<インデックスカバレッジ>である。
2019年9月10日取得mode857<URL検査>画像
現在は画像の通りなので、次回<インデックスカバレッジ>更新時には、mode857は「robots.txtによりブロックされました」に移動するだろう。

robots.txtでブロックされるまでの経緯

今回、mode857がrobots.txtによってブロックされたのは、robots.txtに旧フィーチャーフォン用URLのパラメータを追加で記述したからである。
ただし、それが直接的な原因ではなく、最大の原因はアドレス変更ツールを使用を停止して、SSL化する以前の旧ドメイン「ページにリダイレクトがあります」に表示されるページをインデックス・リクエストしたことである。(参照記事「」)
インデックス・リクエストからの経緯が以下である。
  1. 旧ドメインの「ページにリダイレクトがあります」に表示された正規ページを<URL検査>すると、「前回のクロール」が2019年2月24日。
  2. アドレス変更ツール使用停止が2019年7月11日で、それ以降のクロールがなかったため、2019年9月2日にインデックスをリクエストする。
  3. 現在ドメインの正規ページは<モバイルユーザビリティ>に以前から表示されており、また、モバイルファーストインデックスに移行したページだった。
  4. 旧ドメイン・ページのインデックス・リクエストを受けて、現在ドメインの<モバイルユーザビリティ>の「前回のクロール」が9月2日に改まる。
  5. 同ページの<モバイルユーザビリティ>「前回のクロール」が9月8日10:59:03に改まる。
  6. “us”ドメインのフィーチャーフォン用URLを<URL検査>すると、robots.txtによってブロックされ、その日付は2019年9月8日4:42:27である。
  7. “us”ドメインのrobots.txtブロックによって現在ドメインのページが再クロール、それによって「前回のクロール」が改まったと推測される。
そして次に紹介するのが3番目に表示されているmode848の<URL検査>画像だ。
2019年9月10日取得mode848<URL検査>画像12019年9月10日取得mode848<URL検査>画像2
スマートフォン用Googlebotによって2017年3月5日10:48:55にクロールされ、「ユーザーが指定した正規URL」は当時のリダイレクト先であった旧ドメインの正規ページであり、「Googleが選択した正規URL」は現在ドメインの正規ページである。

旧ドメインと現在ドメイン間のリダイレクトが旧“us”ドメインに飛び火

mode857のrobots.txtブロックと、mode848の検査画像を検証する前に、基本的情報を提示しておきたい。
それは旧“us”ドメインとアドレス変更ツールの件である。
2018年1月25日から使用したアドレス変更ツールは“net”と旧ドメインの2つだけである。(「」の画像を参照のこと)
当時から旧“us”ドメインは旧ドメインを経て現在ドメインに301リダイレクトされていたので、アドレス変更ツールの使用が出来なかった。
アドレス変更ツールは直接に301リダイレクトされるドメイン間でしか使用出来なかったからだ。
だから今回のインデックス・リクエストから始まったmode857のrobots.txtブロックと、mode848の「ユーザーが指定した正規URL」と「Googleが選択した正規URL」は、旧ドメインと現在ドメインの301リダイレクトが、“us”ドメインに飛び火したような関係性なのである。

Googlebotの種類で優先されるURLがある?

今回の調査で最も気になったのは、実は、アドレス変更ツールではない。
Googlebotの種類である。
前回記事「」でこう書いた。
新ドメインのページBにスマートフォン用Googlebotがクロールしたのが2019年4月6日で、「ページにリダイレクトがあります」に表示されていた時のクロール日時が2019年4月3日である。
このクロール日付の近さから推測するに、リダイレクトはスマートフォン用Googlebotによって確認されたのかもしれない。
このGooglebotの種類によって優先されるURLが存在すると思われるのだ。

この思いに至った原因はサイトコマンド検索の表示である。
旧“us”ドメイン「ページにリダイレクトがあります」に表示される5ページの内、なぜ、トップページとmode857だけがサイトコマンド検索で表示されたのか?
mode848を始めとする残り3つのページはなぜ、表示されないのか?
「前回のクロール」があまりに古いから表示されない?
多分それも原因の1つだろうが、最大の原因はGooglebotの種類にあると思われる。
未だモバイルファーストインデックスに移行していないYahoo seo Googleにおいて、優先権があるのはパソコン用Googlebotがクロールしたページなのではないだろうか?
「ページにリダイレクトがあります」に表示されるmode866と817も<URL検査>してみたが、いずれもmode848と同様にスマートフォン用Googlebotによってクロールされていた。
では旧“us”ドメインのトップページはどうか?
2019年9月10日取得“us”ドメイン301リダイレクト<URL検査>画像
画像の通り、パソコン用Googlebotによるクロールなのである。

mode857がサイトコマンドに表示されていた時のGooglebotの種類が不明だ。
だが、このページにGooglebotが久しぶりにクロールしたことを契機にサイトコマンド表示されるようになったことだけは事実だ。
現在ドメインの正規ページはモバイルファーストインデックスに移行したページだ。
そしてサイトコマンドにmode857が表示されていた時のGooglebotはパソコン用ではなかったか?
次回は過去の記録をつぶさに検証して、この件の続報をお伝えしようと考えている。

「Googlebotの種類によって優先されるページがある?」と同一カテゴリのseo記事

コメント

非公開コメント