Googleは米国時間2026年11月11日、検索セントラル ブログで、CDN(コンテンツ配信ネットワーク)へ移した直後にクロールが急増する理由と、その対処を説明した。急増に驚いてボットを一律に遮断すると、Googleのクローラーも止まる。Googleは、止めればページやショッピングの掲載が検索から落ちる可能性があるとしている。
背景
投稿は、クロールが急増する理由を2つ挙げている。1つは、Googleのクロールの仕組みがサーバーの応答の速さを測っている点。CDNのエッジからの応答が速くなると、クローラーは要求の速度を上げられる。もう1つは、新しいCDNがキャッシュの空の状態から始まる点である。URLごとの最初の要求はキャッシュに当たらず、元のサーバーへ届く。
人の訪問とクローラーの動きが違うことが、ここで効く。人は人気のあるページに集まるため、そのページのキャッシュは早く埋まる。クローラーはサイトのURLの全域をたどるので、最初の要求が外れ続ける。結果として、速くなったはずの切り替え直後に、元のサーバーへ届く要求がいちばん多くなる。
Googleが示した対処は3点である。
- 検証済みのクローラーをCDNとファイアウォールの設定で通す
- 切り替えの前にキャッシュを温めておく
- それでも元のサーバーが苦しければ、429または503を短い期間だけ返す
事業者への影響
1点目が要点になる。一律のボット対策や、CAPTCHA、チャレンジのページは、Googleのクローラーも止める。Googleは、公開しているIPアドレスの範囲で自社のクローラーを検証できるとし、すべての自動化されたクライアントを遮断するのではなく、robots.txtや対象を絞った規則を使うほうがよいとしている。
2点目は、流入の多いURL、商戦期に使うURL、クロールの頻度が高いURLを、切り替えの前に速度を抑えてCDN経由で取得しておくという手順である。3点目には期間の目安がある。Googleは429・503の返却を「数時間、長くても1〜2日」にとどめるよう書いている。
EC事業者にとって、この話は年末商戦の備えと重なる。アクセスの集中に耐えるためにCDNを入れる判断と、不正アクセスへの備えとしてボット対策を強める判断は、同じ時期に同じ担当者のところへ来る。その2つを同時に進めると、検索からの流入を落とす経路ができる。
明日から確認できることは2点ある。
- CDNとWAFの設定を誰が持っているか
- そこにGoogleのクローラーの除外が入っているか
設定を外部のベンダーに預けている場合は、除外の有無を書面で確かめておきたい。
今後の見通し
投稿は、クロールの急増がどの程度の規模になり、どれくらい続くかを示していない。キャッシュが埋まるまでの時間も、遮断から掲載が落ちるまでの時間も示されていない。影響の大きさはサイトのURLの数と構成によって変わるとみられる。
国内では不正アクセスの公表が続いており、ボット対策を強める事業者は増える可能性がある。遮断の設定が検索の流入に及ぶ事例は、今後も出るとみられる。
出典
- Google 検索セントラル ブログ「Moving to a CDN without overwhelming your origin (or blocking Googlebot)」(米国時間2026年11月11日)
- PPC Land「Google says CDN bot blocks can drop products from Shopping and ads」(米国時間2026年11月12日)


