Googleは、クロール速度を下げる手順を説明した開発者向けドキュメントを改訂した。緊急時にクローラーの流入を減らす項目を再構成し、503または429の応答にRetry-Afterヘッダーを付けて再試行の時期を伝える方法と、記述例を加えた。更新履歴の日付は米国時間10月6日（日本時間10月7日）で、ドキュメントの最終更新日も同じ10月6日である。
背景
Googleは、クローラーの流入が多すぎる場合の対処として、200ではなく500、503、429のいずれかを短期間返す方法を案内している。目安は数時間から1〜2日である。これらの応答を返すとホスト名全体でクロール速度が下がり、エラーが減れば自動で元に戻る。
今回の改訂は、緊急時の項目にRetry-Afterの説明と記述例を加えたものだ。値は秒数か、絶対的なUTCの日時で指定する。Googleは更新履歴で、このヘッダーへの対応自体は新しくないと述べている。これまでは「サイトを一時的に停止する」ガイドに記載があり、今回の移動は緊急時に見つけやすくするためだとしている。
新しい仕様ではない点が重要である。変わったのは挙動ではなく、どこに書かれているかだ。クロールの流入が増えたときに読む場所に、対処の手順がまとまった形になる。
事業者への影響
効いてくるのは2つの場面である。セールやテレビ露出で自社サイトが持たない場面と、クローラーの流入が増えてサイトが重くなる場面だ。原因は違うが、サイトを守るための出口は同じになる。
注意したいのは副作用の大きさである。ドキュメントは、新しいページの発見が減り、既存ページの更新頻度が下がり、削除したページがインデックスに長く残ると説明している。Google広告では、キャンペーンが一時停止または不承認になる場合があるとも書かれている。広告を出している店舗は、検索の順位だけでなく出稿の側にも影響が出る。
期間の上限も明示されている。1〜2日を超えて続けることは推奨されず、同じURLで数日続くとインデックスから削除される可能性があるとしている。緊急の措置であり、恒常的な制御の手段ではない。
エラーを返せない場合の窓口もある。Search Consoleから、クロール速度が異常に高いことを報告し、適切な速度を申告する特別なリクエストを提出できる。ただしクロール速度の引き上げの要望には応じられず、評価に数日かかる場合があるとされている。
- 503と429を返す仕組みと、Retry-Afterを付ける手順を、サーバー担当と事前に決めておく
- 429や503を恒常的に返す設定が残っていないか、サーバーとCDNの設定を確認する
- 緊急の措置を1〜2日で解除する運用と、解除後の確認手順を文書にしておく
今後の見通し
今回の改訂は記載場所の整理であり、クロールの挙動が変わったことを示すものではない。ただしAIのクローラーを含めた流入の増加が続けば、同じ項目の記述がさらに整理される可能性がある。Retry-Afterで指定した値をGoogleがどの程度尊重するかについて、ドキュメントに具体的な説明は見当たらない。指定すれば必ずその時刻まで待つという理解は避けた方がよいとみられる。
出典
- Google for Developers「Reduce the Google crawl rate」（最終更新2026年10月6日）：https://developers.google.com/crawling/docs/crawlers-fetchers/reduce-crawl-rate
- Google for Developers クロールのドキュメント更新履歴「Added Retry-After HTTP header details to the reduce crawl rate documentation」（2026年10月6日）：https://developers.google.com/crawling/docs/changelog
- Search Engine Roundtable「Google Search Crawl Rate Doc Adds Retry-After HTTP & More」（米国時間2026年10月6日）：https://www.seroundtable.com/google-crawl-rate-documentation-update-42247.html
