Yahoo seo Google > Google Search Consoleとseo > リダイレクトで除外されたページと、インデックスされたページへのクロール日時に注目

リダイレクトで除外されたページと、インデックスされたページへのクロール日時に注目

新しいSearch Consoleの「インデックス カバレッジ」で、「ページにリダイレクトがあります」という理由で「除外」されたページへのクロール日時と、SSL化したYahoo seo Googleのインデックスに登録されたページへのクロール日時に注目した。
正規化されたURLでインデックスされるには、Googlebotのクロールが必要だということが理解出来た。
前回記事「」で書いたウェブページ更新の必要性について、現時点では確かなことは判明していない。
だが、新しくなったSearch Consoleのデータも参照しながら、現時点で理解出来ることを報告しよう。

前回記事で<構造化データ>並びに<内部リンク>に同時に表示されるページの出現を報告した。
あの記事を書いて以降、2月20日に<構造化データ>並びに<内部リンク>データの更新があり、そこでも同時に表示されるページの出現があった。
そのページはエントリー番号No.108の「」である。
Yahoo seo GoogleブログをSSL化して以降、初めて<構造化データ>並びに<内部リンク>に表示されたページである。

新しいSearch Consoleの「インデックス カバレッジ」(旧名称は「インデックス登録の対象範囲」だった)に表示されたデータ記録を見る。
最終更新日が2018年2月10日のデータではこのページは未だ「クロール済み - インデックス未登録」に表示されていて、その「前回のクロール」日時は2017年12月24日であった。

このページがインデックスに登録されたのは、最終更新日2月13日のデータで確認出来た。
その時の「前回のクロール」日時は2018年2月12日であった。

このページの記録を、SSL化する以前のドメインで追った。
すると旧ドメイン“com”の、「ページにリダイレクトがあります」という理由で「除外」された中に見つけることが出来た。
そこでの「前回のクロール」日時は2017年10月22日であった。
記録ノートを探すと、その日にFetch as Googleで送信したことが記録されていた。
ただし送信したのはSSL化したURLである。
ここから推測出来るのは、SSL化したURLをFetch as Googleで送信したら、SSL化する以前のURLにもGooglebotはクロールし、そこで301リダイレクトされていることを確認したことだ。

2017年12月24日のクロール日付は、私がFetch as Googleで送信したからである。
送信した理由は、ページを修正したからである。
ページを修正した理由は「」の記事で書いた通りである。
つまり「URLの統一で予想通りにYahoo!検索の順位がダウン」の記事ページは、修正を加えずにFetch as Googleで送信した2017年10月22日と、修正してから送信した2017年12月24日の2種類があったのである。

2018年2月12日のクロールは、私がFetch as Googleで送信したものではない。
Googlebotが何らかの原因でクロールしていったのである。
2018年1月25日にページを修正したので、それを受けてクロールしたのかとも考えたが、それにしては時間が掛かりすぎている。
推測であるが、他のウェブページからのリンクをたどってクロールしたのであろう。

この場合の他のウェブページが重要な点であることは「」を読んで貰えれば、察しがつくだろう。
つまり、その他のウェブページがSSL化したURLでインデックスされているページであるからこそ、「URLの統一で予想通りにYahoo!検索の順位がダウン」の記事ページは、SSL化したドメインの<構造化データ>並びに<内部リンク>に表示されるようになったと考えている。
仮にSSL化されたドメイン以外でインデックスされているページからのリンクをたどった場合、Googlebotはそこで301リダイレクトされていることを確認するだろう。
そして301リダイレクトされたページはキャッシュを更新させるが、その場合、SSL化したドメインの<構造化データ>や<内部リンク>に表示されないことも「新しいSearch Consoleで、記事で報じた件を裏付け出来るデータを発見した」で報告した通りである。

「新しいSearch Consoleで、記事で報じた件を裏付け出来るデータを発見した」の記事に修正を加えるとしたら、以下の部分だろう。
ここで表示されているURLこそ「発リンクと被リンクは、GooglebotがどのURLを主体に見るかによって変わる」で書いた旧URLである。
つまりは旧URLからの発リンク先がこれらのURLであり、それがリダイレクトされているためにインデックスから「除外」されていることを、このデータは示しているのである。
だからこそ、これらのURLは新URLでインデックスされず、SSL化したYahoo seo Googleの<構造化データ>や<内部リンク>に表示されないのである。
SSL化する以前のドメインで「除外」されたページは、SSL化したYahoo seo Googleの<構造化データ>や<内部リンク>に表示されないと書いた。
だが「URLの統一で予想通りにYahoo!検索の順位がダウン」の記事ページ事例を見れば間違えであることがハッキリしている。
他ドメインで「除外」にされても、SSL化した正規URLでインデックスされることは可能である。

正規URLでインデックスされるには、何が必要なのだろうか?

「URLの統一で予想通りにYahoo!検索の順位がダウン」の記事ページ事例を見れば、Googlebotのクロールが必要だといえるだろう。
このページは「ページにリダイレクトがあります」を理由に「除外」された時のクロール日時が2017年10月22日。
その後、インデックスされて2017年12月24日と2018年2月12日のクロールがあった。
2017年12月24日はFetch as Googleによるクロール、そして2018年2月12日は正規URLからのリンクをたどったクロールだと推測した。
原因はどうあれ、2回のGooglebotのクロールが正規化に影響したのは間違えないだろう。

その上で「前回のクロール」日時に注目してデータを見てみた。
下の画像はSSL化する以前の“com”ドメインで、「ページにリダイレクトがあります」を理由に「除外」されたページの一部である。
SSL化する以前の“com”ドメインで「ページにリダイレクトがあります」を理由に「除外」されたページの画像
2018年2月16日のクロール日付がある記事ページが「」である。
このページはSSL化したドメインでインデックスに登録されているが、そのクロール日付は2018年1月15日である。
同じく2月16日にクロールされている記事ページが「」である。
そしてこの記事ページもSSL化したドメインでインデックスされているが、そのクロール日時は2018年1月22日である。
明らかに「URLの統一で予想通りにYahoo!検索の順位がダウン」の事例とは異なる。
ただし2018年1月15日のクロールも2018年1月22日のクロールもFetch as Googleによるクロールである。
この記事ページが今後どう変化するのか?
次回の更新が楽しみである。

追記(2018年2月27日)
この記事の一部に誤りがある。
詳しくは「」を参照してほしい。

追記(2018年3月7日)
記事中で報告した2つの301リダイレクトに関する追加検証記事「」をエントリーした。
「リダイレクトで除外されたページと、インデックスされたページへのクロール日時に注目」の関連記事リスト

コメント

非公開コメント