Yahoo seo Google > サイトマップ > スマートフォン用Googlebotとサイトマップの関係

スマートフォン用Googlebotとサイトマップの関係

Yahoo seo Googleブログの「クロール済み-インデックス未登録」が4ページ増えた。何れも共通点はスマートフォン用Googlebotのクロールが確認できない点で、これにはサイトマップの処理と保留が関係していると推測している。
前回記事「」をエントリー後、Yahoo seo Googleブログのに時間が掛ったのは、修正を加えた上ですることに従事していたからだ。修正は、と考え、一旦は削除した “” を再びしたことだ。そうした修正を行った理由は、やはりアドレス変更ツールの使用停止である。この使用停止で、は新→旧ドメインという方向性になる。(3日付記事「」を参照のこと。)
それに伴い、新ドメインのページをインデックスリクエストすると、そのに対してもする。記事ページに関しては問題ないが、の仕様で、カテゴリとアーカイブページは正規されない。(27日付記事「」を参照のこと。)そのため、“canonical” で正規URLを指定する必要があったのである。
追加の修正で、robots.txtでブロックするURLを大幅に減らした。これも参照元ページに対するGooglebotのクロールに対応するためである。

<モバイルユーザビリティ>と<パンくずリスト>の「有効」数値の差

こうした修正が影響したのか、<>と<パンくずリスト>の「有効」数値に差が生じた。は最終更新日「2019/09/29」の<モバイルユーザビリティ>と<パンくずリスト>のスナップショットである。2019年9月29日更新のモバイルユーザビリティとパンくずリスト画像<モバイルユーザビリティ>の「有効」ページ数が1,032に対し、<パンくずリスト>の「有効」アイテム数が1,042である。当ブログの<パンくずリスト>は1ページに1アイテムなので、このアイテム数はページ数と同じである。<パンくずリスト>のデータはパソコン用Googlebotが収集したデータなのに対し、<モバイルユーザビリティ>は用Googlebotがソースである。つまり、パソコン用Googlebotはクロールしているのに、スマートフォン用Googlebotがクロールしていないページの差が<モバイルユーザビリティ>と<パンくずリスト>の「有効」の差なのである。
スマートフォン用Googlebotがクロールしていないページは把握している。しかし、なぜ、クロールしないのかが分からない。全てのページは必ず1度は<URL検査>をしてからインデックスリクエストしているので、そのページがモバイルフレンドリーであるのを確認するのに1度はスマートフォン用Googlebotはクロールしている。にも関わらず、インデックスをリクエスト後、暫くして<URL検査>をしても、「拡張」部分に「このページはモバイルフレンドリーです」のテキストは表示されないのである。

「クロール済み-インデックス未登録」の共通点はスマートフォン用Googlebotが来ないこと

この問題を考える上で貴重なデータ更新があった。それは<インデックスカバレッジ>の「クロール済み-インデックス未登録」のデータである。最終更新日「2019/09/24」データでは3件だったのに、「2019/09/28」データではそれが7件へと増加した。以前からの3件は404エラーページが2件、robots.txtでブロックしている1件で、何れもサイトマップに記載されていないである。それに対し追加された4件はサイトマップに記載されたURLで、何れも2019年9月になってからのクロール日時が表示され、共通点はスマートフォン用Googlebotのクロールが無いことである。「2019/09/24」データではサイトマップ記載のURLは全てインデックスされていた。さらに履歴を調べれば、「クロール済み-インデックス未登録」に加わった4ページにもスマートフォン用Googlebotのクロールはあった。つまりは9月になってからのクロールが影響して、このような状況になったことが推測された。
増加した4件の内、3件がアーカイブページである。私が把握しているスマートフォン用Googlebotのクロールの来ないページも大部分がアーカイブページである。どうやらスマートフォン用Googlebotのクロールが来ない件はアーカイブページが関係しているらしいことが想像できる。
先にも書いた通り、アーカイブページは正規ページにリダイレクトされない。だから “canonical” で正規URLを指定した。そして301で異なるURLにリダイレクトされながらも正規URLが指定されたのは、サイトマップがされていたことが大きい。なぜならであり、それが処理されているのは「Googleが選択した正規URL」と同一であるからだ。(2019年8月5日付記事『』を参照のこと。)
過去の記録を見ると、Yahoo seo Googleブログをレスポンシブwebデザイン化した18日、サイトマップは保留210日目であった。しかし翌日、サイトマップは一転して処理されるも、21日に再び保留になった。化して、Yahoo seo Googleのアドレスが変更されたのが21日で、その時、サイトマップは保留275日目であった。そして新規ドメインにおいてもサイトマップは保留が続き、ようやく処理に転じたのが10日であり、それは保留412日目の翌日であった。そしてそれ以降、サイトマップは処理を継続し、現在に至っている。
アドレス変更ツールの使用は25日であり、この時、サイトマップは保留125日目だった。サイトマップに記載のURLが正規URLとしてGoogleに選択されていないだろう状況下でアドレス変更ツールを使用したのは効果があった。旧ドメインのページ評価を新ドメインのページに置き換えることで、トラフィックが減ることなく、新ドメインのURLはインデックスされて行ったからである。

サイトマップの処理と保留が、スマートフォン用Googlebotのクロールに関係している?

これを整理すると、今回のインデックスリクエストは、サイトマップが処理された状況下で、なおかつ、アドレス変更ツール使用停止後の最初のリクエストになる。それを思うと、9月以降のクロールで4件の「クロール済み-インデックス未登録」ページが発生したこと、さらにその共通点がスマートフォン用Googlebotのクロールが無いこととすると、どうしてもドメイン変更とサイトマップの処理と保留の問題が、スマートフォン用Googlebotのクロールに関係しているのではないか?と考えざるを得ないのである。
この件は次回も継続して検証して行くが、においてサイトマップの果たす役割は大きい。Yahoo seo Googleブログのアクセス解析を見れば、サイトマップが保留にある状態のウェブマスターもいるようだ。サイトマップが保留になる原因は、そこに記載されたURLが「Googleが選択した正規URL」と異なるからだ。正しく修正してサイトマップを処理させることがGoogle seoの第一歩である。
追記(2021年3月1日):エントリーしたページのインデックスを追うことで、サイトマップとスマートフォン用Googlebotの関係を検証しました。詳細は「」を参照のこと。
関連のseo記事
  1. (2019/10/04)
  2. (2019/10/10)
  3. (2020/03/10)
  4. (2020/11/24)

コメント

非公開コメント