クロールの統計情報「検出」の数値が増加、構造化データとseoの関係

Yahoo seo GoogleのHTTPS<クロールの統計情報>で、「検出」される数値がうなぎ上りに上昇した。最終更新日2021年8月13日クロールの統計情報「検出」画像

急上昇したと感じたのは、8月12日で、その日の「検出」リクエスト数値は18だった。しかしながら、何らかの原因による一時的な上昇の可能性もあるので、翌日のデータ更新を待った。そして、8月13日はさらに上昇し、24のリクエストとなったのである。

前回記事「article構造化データと画像、マークアップミスはseoにマイナス」で報告した通り、過去記事を全て修正した。さらに修正とともにサイトマップの<lastmod>で更新を伝えた。だから<クロールの統計情報>のリクエスト総数が上昇するのは理解できるのだが、総クロール数における「検出」の割合が増加しているのが、今までと異なる点である。

8月12日の総リクエスト数は73で「更新」が55、「検出」が18。8月13日は総リクエスト数79で「更新」が55、「検出」が24である。「検出」の割合が増加していることを示すため、それ以前のデータも紹介すれば、11日が総リクエスト数86「更新」76「検出」10、10日が総リクエスト数36「更新」29「検出」7、9日が総リクエスト数109「更新」105「検出」4であり、概ね、こうした割合で「更新」と「検出」は数値を刻んでいたのである。

「検出」の割合が増加し始めた8月12日に、Yahoo seo Googleブログに何をしたか？補足コンテンツの「Yahoo seo Google 管理人ただ男の紹介」部分の修正を行い、“author” のマークアップを行っていた。ロゴ画像を作成し、管理人紹介部分の修正を行ったため、それ以前の “author” のマークアップを修正しなければならないことが、リッチリザルトテストで分かったからだ。

この “author” のマークアップ修正後、article構造化データに “author” が推奨されたことを<海外SEO情報ブログ>の記事で知った。ちょっと前のリッチリザルトテストでは、“author” のマークアップは求められていなかったと記憶しているので、タイムリーな機会にテストを行ったとも言えるだろう。（この件に関する<海外SEO情報ブログ>の記事「コンテンツ著者のurlプロパティを記事構造化データに追加するようにGoogleが推奨」を参照のこと。）

<クロールの統計情報>で「検出」の割合が増えたことは、article構造化データと推奨プロパティが関係していると考えている。そう考える根拠は、<インデックスカバレッジ>で「拡張」に表示される<パンくずリスト><ロゴ><サイトリンク検索ボックス>の数値である。

下は最終更新日2021年8月15日インデックスカバレッジ、「拡張」部分のスナップショットだ。最終更新日2021年8月15日のインデックスカバレッジ「拡張」画像

赤枠で囲んだ<ロゴ><サイトリンク検索ボックス>の推移部分を見れば、数値は上昇するのみで、一切、減少していないことが確認できるだろう。

<ロゴ><サイトリンク検索ボックス>に対し<パンくずリスト>の数値が減少しているのは、<ロゴ><サイトリンク検索ボックス>のマークアップをする以前にインデックスされたページが消えているからである。

「拡張」のデータは全てパソコン用Googlebotによるデータであり、<ロゴ><サイトリンク検索ボックス>に表示されているページは共通で、「有効」ページ数に相違があるのは、<ロゴ>より数日早く<サイトリンク検索ボックス>をマークアップしていたからである。そして、<ロゴ><サイトリンク検索ボックス>に表示されているページは<パンくずリスト>にも表示されている。この「拡張」のデータ推移を思えば、article構造化データと推奨プロパティの関係は、推奨レベルではないのでは？との思いを抱かざるを得ない。

「検出」されたページを検証

「検出」されたページを検証してみた。

2021年04月21日付記事「インデックスリクエストでGooglebotがクロールしたのは旧ドメインが先」で、<クロールの統計情報>に「検出」されたページについて報告した。そして、その中で「検出」とは

リクエストされたURLは以前Googleによってクロールされたことがありません。

ということだと書いた。さらに、こう書いた。

つまりは現在ドメインに移行する前のURLでありながら、1度もGooglebotにクロールされたことがないページだったのである。

これが「検出」されクロールされ、ページは301でリダイレクトされていることがオフラインで把握されたことになる。

この、301でリダイレクトされていることがオフラインで把握されたという部分が重要な箇所だ。

現在、Yahoo seo Googleブログのインデックス状況を、2021年05月20日を中心に記録している。この日を中心にしたのは、当ブログのコアウェブバイタルに関する対策を全て終わらせた日であるからだ。（2021年05月17日付記事「コアウェブバイタルとランキングアルゴリズム、CLSとseo」、2021年10月31日付記事「Google自動ペナルティでリンクジュースは堰き止められる」を参照のこと。）

そして、「検出」されたページは、大部分がこの5月20日以降の日付でインデックス更新されていないページであった。特に個別にモバイルファーストインデックスに移行していたページは全てが更新されていなかった。そこから判断すれば、5月20日以降の日付で更新されたページもパソコン用Googlebotによって更新されただろうこと、さらに「検出」されたのはスマートフォン用Googlebotによってであろうことが想像された。

これを前提に先の301でリダイレクトされていることがオフラインで把握されたことを考えれば、以下のような推移が想像される。

あまりに低いコアウェブバイタルのスコアが原因で、モバイルは現在ドメインに移行する前のURL
コアウェブバイタルのスコアを改善し、クロールバジェットに影響を及ぼしていた要素がなくなる（2021年07月24日付記事「クロールバジェットの観点からseoを検証」を参照のこと。）
<ロゴ><サイトリンク検索ボックス>のマークアップで補足コンテンツを修正
補足コンテンツの修正をリニューアルと認識してGooglebotがクロール（2021年4月30日付記事「補足コンテンツの変更は検索順位の跳ね上がりに効果があったのか？」を参照のこと。）
スマートフォン用Googlebotによって、初めてそのURLがクロールされ、<クロールの統計情報>に「検出」として表示

以上のような推移を想像すると、article構造化データと推奨プロパティの関係は、推奨レベルと考えても問題がないと思えてくる。構造化データと推奨プロパティが直接影響を及ぼしたと考えるよりも、補足コンテンツの修正を契機にGooglebotのクロールが活性化されたと言えるからである。

だが、補足コンテンツの修正だけを理由にするのには無理がある。それだけが原因であるなら、カテゴリを大規模に改変した段階で今の「検出」のような現象が見られた筈だからである。それが見られなかったことからも、構造化データと推奨プロパティ（特に画像の問題が大きいのではないか？と推測している）も、クロールの活性化に少なからず影響していると考えている。それを踏まえれば、構造化データのマークアップは間違えなくseoに寄与すると言えるだろう。

<クロールの統計情報>が更新され、8月14日の総リクエスト数51で「更新」が43、「検出」が8であった。

14日は前回記事をエントリーした日であり、新規にURLを追加すると、既存ページへのGooglebotのクロールが不活性化するようなデータが記録されている。そのことを割り引いて、「検出」数値を見る必要があるだろう。

追記（2021年9月24日）：今のYahoo seo Googleにとって重要なクロールは、「更新」ではなく「検出」である。詳しくは「継続されたリンクの構造がリンクスパムアップデートの原因か？」を参照のこと。

追記（2022年4月26日）：2022年4月20日、Yahoo seo Googleの<クロールの統計情報>の「検出」に、“194” のリクエストが記録された。詳しくは「クロールの統計情報に大量の「検出」リクエスト、Googleアルゴリズムアップデートが原因か？」を参照のこと。

関連のseo記事

インデックスリクエストはリンクの検出に貢献しない（2021/06/25）
2021年7月コアアルゴリズムアップデート、Googlebot通常クロールがseoにもたらす影響（2021/07/05）
スマートフォン用Googlebotによる正規化、seoと検索順位の関係（2021/07/18）
検出インデックス未登録とモバイルファーストインデックス、seoとリンク価値（2021/08/21）
内部リンクを通じて紐づけされたページとseoの問題（2021/08/28）
Googlebotの2つのタイプ別クロールによるリンク構造への影響（2021/09/06）
リンクスパムアップデートと「検出-インデックス未登録」のseoの問題（2021/09/11）
サイトマップの最適化が原因か？送信日時が更新！（2021/12/25）
サイトマップが「検出」ではなく「更新」でGoogleオフライン処理された（2022/09/12）