Yahoo seo Google > サイトマップ > サイトマップとrobots.txtは、どうGoogle seoに関係しているのか?

サイトマップとrobots.txtは、どうGoogle seoに関係しているのか?

Yahoo seo Googleのrobots.txt内容が改められているのをGoogleが確認したのは、前々回記事をエントリーした2022年3月1日以降であることが分かった。何が原因でrobots.txtは確認されたのか?サイトマップとrobots.txt、そしてそれがどのようにGoogle seoと関係しているのかを検証した。
前回記事「」をエントリーしてから、およそ2週間が経過した。記事の最後に
今後、AIがどのようにYahoo seo Googleを判断するのかは未知数なので、危機感を抱いたまま、推移を見守ろうと思う。
と書いたが、私自身の、FC2サイトマップに対する危機感はかなり薄らいだ。なぜかと言えば、FC2サイトマップの最終読み込み日時がされなくなったからだ。つまりは、FC2サイトマップのをrobots.txtから削除したことで、FC2のサイトマップがGoogleのプライマリインデックス、延いてはに参照されることがなくなったと思われるからだ。

robots.txtはいつ確認されたのか?

は、2022年3月28日に取得したの<サイトマップ>である。2022年3月28日取得、HTTPSのFC2サイトマップ画像前回記事でもYahoo seo Googleの<サイトマップ>を画像で紹介しているので、送信日と最終読み込み日時に変化が生じていないことが確認いただけるだろう。
前回、紹介していなかったもう1つのサイトマップを今回は紹介する。それが赤枠で囲ったRSSのサイトマップである。
今までであれば、新規記事をエントリーするや否や、このRSSのサイトマップの最終読み込み日時は即座に更新された。しかしながら、現在は2022年3月3日を最後に更新はストップされた。前回記事のエントリーが3月15日で、前々回記事が3月1日である。つまりは、前々回記事のエントリーを最後に、Search Consoleの<サイトマップ>は更新をストップさせたことになるのである。
ではなぜ、前々回記事をエントリーした3月1日を最後に、FC2サイトマップ、並びにRSSは更新されなくなったのか?これはGoogleがrobots.txtを確認したことが原因であろう。
下の画像は、Search Consoleの<robots.txtテスター>で、Yahoo seo Googleのrobots.txtがいつ確認されたのかを調べてみたものだ。2022年3月28日取得、HTTPSのロボットテキストテスター画像直近では、2022年3月19日21:04に確認されていることが分かった。
“直近では” と書いた通り、robots.txtは頻繁に確認されており、前々回記事をエントリー後、robots.txtの内容が更新されていることを確認したのであろう。
robots.txtの内容を改めたのは18日である。つまりは、内容を改めた時点ではrobots.txtは確認されていなかった、ということになる。今まで、はそのの都度、robots.txtを確認すると思っていた。だが実際は、今検証した通りだったのである。

robots.txtが確認された原因とは?

では次に、なぜ、前々回記事をエントリー後、robots.txtは確認されたのか?“たまたまその時期が来たから” という可能性もあるが、これに関してはかなり自信がある推測をしている。その推測とは、自作サイトマップに関することである。
前々回記事は2022年3月になって最初の記事である。それに伴って、2022年3月のアーカイブページが作成され、既存のアーカイブページには新規に2022年3月へのが生まれる。下はのアーカイブページの画像だ。2022年3月28日取得、HTTPSの2008年3月アーカイブページ画像このリンクがすべてのアーカイブページに表示され、いわば、すべてのアーカイブページが “更新” されるため、自作サイトマップの<lastmod>を2022年3月1日にしてアップしたのである。
この日に更新されたURLは全部で199である。そして、FC2サイトマップ送信日時の変動を、この自作サイトマップと関係して検証すると、因果関係のようなものが見えてくるのである。
今までの推移をまとめてみた。
  1. 2021年6月24日、自作サイトマップをアップ(30日付記事「」を参照のこと。)
  2. 2021年12月13日、カテゴリとアーカイブに<lastmod>を記述(20日付記事「」を参照のこと。)
  3. 2021年12月24日、FC2サイトマップの送信日時が「2021/12/24」で更新(2021年12月25日付記事「」を参照のこと。)
  4. 2022年1月5日、新規記事と関連記事、すべてのアーカイブページを更新、合計184
  5. 2022年1月25日、FC2サイトマップの送信日時が「2019/04/09」に戻る(26日付記事「」を参照のこと。)
  6. 2022年2月1日、新規記事と関連記事、すべてのアーカイブページを更新、合計220
  7. 2022年2月18日、robots.txtを修正
  8. 2022年3月1日、新規記事と関連記事、すべてのアーカイブページを更新、合計199
  9. 2022年3月1日、FC2サイトマップの送信日時が「2022/03/11」で更新
<lastmod>の記述と1日で更新されたURLの数値が関係しているように感じられ、これを月並みな言葉で言えば、リニューアルされた?と感知したAI(人工知能)がrobots.txtを確認し、サイトマップの送信日時が変動したのではないか?
サイトマップとrobots.txt、そしてそれがどのようにGoogle seoに関係しているのか?報告するべき検証結果はまだあるのだが、それは次回以降としよう。Yahoo seo Googleの最適化を通じて、サイトマップとrobots.txtの検証から分かることも “少しは” 増えると思うからだ。
追記(2022年4月7日):続き記事となる「」をエントリーした。
追記(2022年5月13日):アーカイブのURL更新をサイトマップの<lastmod>を利用して、Googleにシグナルを送信した。その結果から、サイトマップの<lastmod>は、明らかにGoogle seoに影響を及ぼすことが判明した。詳しくは「」を参照のこと。
追記(2022年10月3日):Search Consoleに登録したFC2サイトマップを削除した。削除する直前まで表示されていたデータからサイトマップの役割について検証した。詳しくは「」を参照のこと。
追記(2022年12月28日):FC2サイトマップの最終読み込み日時が「2022/03/09」で止まったのは、Yahoo seo Google固有の問題ではなかった!詳しくは「」を参照のこと。

コメント

非公開コメント