Yahoo seo Google > Google seo 2018年10月~ > Google seoにおけるrobots.txtの重要性

Google seoにおけるrobots.txtの重要性

Yahoo seo Googleブログのrobots.txtを編集し直し、検証を再開した。
Google seoにおけるrobots.txtの重要性を再認識させられた。
前回記事「」に追記したが、FC2ブログのrobots.txtの不具合は、私の記述に問題があったことが原因だった。
その為、正しい記述にしてアップし直し、検証を再開した。
全ての結果が出た訳ではないが、Google seoにおけるrobots.txtの重要性だけは再認識させられた。

検証を進めて最初に遭遇したのは、Googleにインデックス送信したURLと、送信をしなかったURLの相違である。

インデックス送信したURLは、新しいSearch Consoleの<モバイル ユーザビリティ>の「有効」に表示されていないURLである。
未だモバイル ファースト インデックスに移行したとの通知が届いていないYahoo seo Googleブログであるが、今後のことを考えれば、<モバイル ユーザビリティ>がseoの鍵になることは間違えないからだ。
だから<モバイル ユーザビリティ>の「有効」に表示されていないURLはインデックス送信し、表示されているURLは送信しないでおいた。

この<モバイル ユーザビリティ>は毎日更新される為、インデックス送信を開始して直ぐに分かったのだが、送信したURLが「有効」に表示されるのに対し、送信を見送ったURLが「有効」から消えるのである。
試しに「有効」と表示されているURLもインデックス送信すると、消えることなく、表示された儘である。

何故、インデックス送信によって<モバイル ユーザビリティ>の「有効」に影響が出るのか?
それを考えた時、脳裏に浮かんで来たのはrobots.txtであった。
robots.txtは、そこに記述した以外のURLにも紐付けられているのではないだろうか?と。

robots.txtは、誰もがインデックスをさせたくないURLをブロックする目的で使用するものだと考えるだろう。
実際、その通りであるし、それに異論はない。
そして、その使用で誰もが暗黙裡の内にrobots.txtとブロックしたいURLとの間の1対1の関係を想像するのではないだろうか?
つまり、ブロックを考えていないURLについては、robots.txtは何ら無関係だと考える。
しかし今の私は、ブロックを考えていないURLもrobots.txtは関係を結ぶと考えている。
何故、関係を結ぶのか?
Googlebotのクロールにrobots.txtは重要な役割を果たしているからだろう。

前回記事で「robot.txtによりブロックされましたが、インデックスに登録しました」というウェブページがあることを報告した。
そもそもで言えば、何故、robot.txtでブロックされたURLがインデックス登録されるのか?
Google Search Consoleヘルプの「」に答が書かれている。
「robots.txt の限界を理解する」の項目に以下の文章がある。
クローラをブロックしているページでも他のサイトからリンクされていればインデックス登録が可能
Google では、robots.txt でブロックされているコンテンツをクロールしたりインデックスに登録したりすることはありませんが、ブロック対象のURLがウェブ上の他の場所からリンクされている場合、そのURLを検出してインデックスに登録する可能性はあります。
つまり、Yahoo seo Googleブログ内の「robot.txtによりブロックされましたが、インデックスに登録しました」というURLにはウェブ上の他の場所からリンクされているからこそ、インデックス登録されているのである。
しかしそのURLは既に当ブログでは使用していないURLである。(参照記事「」)
だから現在のドメイン内から内部リンクはされていないし、また、外部ドメインからもリンクされていないことは、Search Consoleのデータからも明らかである。

では、一体、何処からリンクされているのか?
それこそ、Googleのデータ内からリンクされているのだろう。

」という記事を以前に書いた。
記事で書いたことと同じことが、この「robot.txtによりブロックされましたが、インデックスに登録しました」というウェブページにも起こっている。
この「robot.txtによりブロックされましたが、インデックスに登録しました」というウェブページは既に削除したURLであるから、メイン・コンテンツがなく、補足コンテンツしか存在しないページである。
そしてこの「robot.txtによりブロックされましたが、インデックスに登録しました」というウェブページと同様のウェブページが他にも存在し、それらのウェブページがこの「robot.txtによりブロックされましたが、インデックスに登録しました」のウェブページに集約されていることが<URL検査>から判明している。
つまり「robot.txtによりブロックされましたが、インデックスに登録しました」というウェブページはGoogleのデータ内のリンクによってインデックス登録されているのである。

この事例からも、Googleのインデックスにはデータ内のリンクも利用されており、このデータ内のリンクにrobots.txtが大きく関係していると考えている。

インデックス送信を開始してGoogleはrobots.txtが編集されていることに気づいただろう。
そしてインデックス送信したURLは<モバイル ユーザビリティ>の「有効」に表示され、インデックス送信を見送ったURLは消えた。
インデックス送信を見送ったURLが「有効」に表示されていた時は、異なるrobots.txtと共にインデックス登録されていたからだろう。
つまりrobots.txtの記述は、GooglebotがクロールするURLを決定するのに役立っており、それは内部リンクによって形成されるエンティティにも関係しているのだろう。
独立して存在するURLはなく、全てはエンティティの中で相対的に存在しているからだとも言える。(参照記事「」)

現在段階では「そうだ!」と断言は出来ないが、インデックス送信と<モバイル ユーザビリティ>の「有効」表示を見る限り、間違ってはいないだろうと感じている。
「Google seoにおけるrobots.txtの重要性」の関連記事リスト

コメント

非公開コメント