Yahoo seo Google > Google Search Consoleとseo > robots.txtの記述ミスはGoogle seoに大きく影響する

robots.txtの記述ミスはGoogle seoに大きく影響する

Yahoo seo Googleブログのrobots.txt記述ミスを修正する間に、ブロックする意図のないURLが誤ってブロックされてしまった。
robots.txtの記述ミスがGoogle seoにどう大きく影響するかを実例で紹介しよう。
前回記事「」に関連した記事を準備していたのだが、10月30日のSearch Consoleデータ更新で、Yahoo seo Googleブログのデータが全くの予想外の更新内容になった為、記事のエントリーは見合わせることにした。
準備していた記事は下記画像の「robot.txtによりブロックされましたが、インデックスに登録しました」に関することだ。
2018年10月29日取得「robot.txtによりブロックされましたが、インデックスに登録しました」の画像
そして、私の予想が大きく外れた原因も、どうやらrobots.txtが関係していることが理解出来た。
簡単に言えば、robots.txtの記述の間違えが最大の原因である。

」で書いたことを実行する為、私は未削除のURLを処理した。
記事でも書いた通り、FC2ブログは既に存在しないにも関わらず、404 not foundをレスポンスさせずに200.o.kでコンテンツを表示させる種類のURLがあり、その処理にはrobots.txtを使用する他に手がない。(FC2ブログのrobots.txt設定方法については「」を参照のこと)

具体的にどのような記述ミスをしたかと言えば、($)ドルマークをURLの末尾に記述しなかったことで、ブロックする意図のないURLまでブロックしてしまったことだ。
robots.txtの記述に関しては「」を参照なさるのが宜しいと思う。

ブロックする意図のないURLまでブロックしてしまったことに気づいたのは、10月26日だった。
この日、2018年10月23日の最終更新日で新しいSearch Consoleのデータ更新を確認し、そのデータによって気づいたのである。
2018年10月31日取得robots.txtによりブロックされました画像
上の画像を見てもらえればお分かり頂けると思うが、その「robots.txtによりブロックされました」と表示されるURLは、SSL化する以前の旧ドメインである。
さらに旧ドメインのスマートフォン用URLであることを示す“sp”のパラメータが付いたものである。
クロールされた日付は10月11日で、その日は私がrobots.txtを編集した日に当たる。
robots.txtの記述を間違っていることに気づいた私は、その日の内に記述は改めておいた。
しかし、改める前にGooglebotは該当のURLをクロールしようとしたのだろう。
見事にブロックされてしまったのである。

この「robots.txtによりブロックされました」事例が興味深いのは、旧バージョンのSearch Consoleが更新された時だった。
先にも示した通り、robots.txtによりブロックされたURLはSSL化する以前の旧ドメインのものである。
だが旧バージョンのSearch Console<インデックス ステータス>ではブロックがSSL化した現在のドメイン内データで表示されているのである。
2018年10月31日取得、SSL化されていないドメインの<インデックス ステータス>画像
2018年10月31日取得、現在のSSL化されたドメインの<インデックス ステータス>画像
上がSSL化する以前の旧ドメインの<インデックス ステータス>画像で、下が現在のSSL化したドメインの<インデックス ステータス>である。
旧ドメインではブロックされた件数がゼロなのに対し、現在のドメインではブロック件数が1と表示されている。

これで新旧Search Consoleのバージョンの特長が顕著になったと言えるだろう。
つまり、より具体的に正しい表示をさせているのが新バージョンのSearch Consoleである。
しかし、seo的にどちらのバージョンが示唆に富んでいるかと言えば、それは旧バージョンだろう。
上記の<インデックス ステータス>画像が示す通り、seoの手がかりは旧バージョンでこそ、より多く発見出来るからである。
実際は旧ドメインのURLで発生したrobots.txtによるブロックが、新ドメインの<インデックス ステータス>に表示されるのは、旧ドメインと新ドメインは301リダイレクトで結ばれ、双方は同一のサイトとして認識されているからである。
」で、Googleのゲイリー・イリーズ氏のツイートを紹介した。
このツイートがされた時から、301リダイレクトで結ばれたURLはPageRankの喪失がない、同一のコンテンツと見なされているのである。

この意図していなかったブロックは、seo的に大きく現在のドメインに影響を及ぼした。
前回記事の末尾にこう書いた。
2018年10月24日、新しいSearch Consoleの<モバイル ユーザビリティ>が更新され、23日の<内部リンク>データに連動するかのように飛躍的な数値の伸びを記録した。
<構造化データ>の次回更新で、<構造化データ>と<内部リンク>は再び連動性を見せるだろうと予測出来る。
この連動性こそ、Googleのコンテンツ中心のseoを実証するものと言えるだろう。
予想した通り、<構造化データ>と<内部リンク>は再び連動性を見せることになった。
10月24日に更新された<モバイル ユーザビリティ>の「有効」の数値は737と飛躍的な伸びを示し、10月23日に更新確認された<内部リンク>の数値709に並ぶものになったからである。

だがその後、<モバイル ユーザビリティ>の「有効」の数値は減少を始めた。
この数値の減少原因が「robot.txtによりブロックされましたが、インデックスに登録しました」にあるのだろうと考えていたのだが、それが原因であるなら、<内部リンク>データも連動して数値を落とすだろうと予測していたのだが、実際はそうならなかったのである。

「robot.txtによりブロックされましたが、インデックスに登録しました」とされたURLは現在のドメインで使用していない。
それゆえ、このURLには記事が存在しない。
存在しているのはコンテンツのテンプレート部分だけで、「」に即して説明すれば、メイン・コンテンツ(MC)がなく、補足コンテンツ(SC)しかない状態なのである。

この場合、メイン・コンテンツから発せられる内部リンクは無い。
そうすると、ここでGooglebotのクロールは終点を迎え、リンクジュースが途切れる。
そしてリンクジュースが途切れた先のURLにGooglebotはクロールをしない。
そしてGooglebotのクロールが途切れた先のURLは、リンクされていないURLだとしてプライマリ インデックスされず、<構造化データ>並びに<内部リンク>から消えていくことになる。(プライマリ インデックスについては「」を参照のこと。)
つまり、このメイン・コンテンツが存在しないURLがインデックス削除されない限り、Googlebotのクロールリストに掲載され続け、常に必ずそこで終点を迎えてしまうのだろうと考えているのである。

旧ドメインと新ドメインは301リダイレクトで繋がれている。
だからこそGooglebotがクロールを完結させられないサイトは、seo的にアドレス変更、ドメイン変更が完結していないサイトだと言えるのである。

私の検証を確かにする為にも、robots.txtに“Noindex:”を記述してアップさせてみようと考えたのだが、FC2ブログのrobots.txtに不具合が生じているようで、今はまだ出来ていない。
robots.txtの“Noindex:”記述に関しては「」を参考にして欲しい。

追記(2018年11月1日)
FC2ブログのrobots.txtは、同一のURLを“Disallow”と“Noindex”双方で記述することが出来ない仕様のようだ。
“Noindex”だけで記述したら、アップすることが出来た。

追記(2018年11月7日)
この記事に関連する「」も参照のこと。
「robots.txtの記述ミスはGoogle seoに大きく影響する」の関連記事リスト

コメント

非公開コメント