媒体資料 広告掲載 ログイン 無料会員登録
D-SHOGYO
2026年11月22日(日)
EC・店舗集客・検索マーケティングの専門紙
SEO・AIO

AI学習の拒否をrobots.txtで一括指定 Google・Bingが相次ぎ表明

AI学習の拒否をrobots.txtで一括指定 Google・Bingが相次ぎ表明

GoogleとMicrosoftは米国時間2026年10月30日(日本時間10月31日)、サイトのコンテンツをAIの学習に使わせるかどうかを、robots.txtの共通トークンで一括指定できる仕組みに対応すると表明した。AI事業者ごとにクローラー名を書き並べる必要がなくなる。適用はGoogleが2027年初め、Microsoft Bingが2027年2月1日。

背景

robots.txtでのAI学習の制御は、これまで事業者ごとに分かれていた。GoogleはGoogle-Extended、OpenAIはGPTBotといった具合に、拒否したい相手を個別に列挙する必要があった。

共通トークンの根拠は、2026年10月30日付のインターネットドラフト「Machine-Readable Training Preference Signal」である。著者はAnthropicのKevin Kelley氏。定義されたポリシートークンが「__usage_ai-training」だ。ただしドラフト自身が「IETFの承認を受けておらず、公式な位置づけを持たない」と記す。確定した標準ではない。Googleは共通クローラーのページに、対応の意向を10月30日付で注記した。

事業者への影響

robots.txtに次の2行を置くと、サイト全体でAI学習への利用を拒否できる。

User-Agent: __usage_ai-training
Disallow: /

パス単位の指定もできる。ただしドラフトは、このトークンが「クロール動作に対する指示ではない」と明記する。拒否してもクロール自体は止まらない。

Googleでの扱いは、Search AdvocateのJohn Mueller氏の説明をSearch Engine Roundtableが伝えている。共通トークンで学習を拒否し、Google-Extendedを明示していない場合、同トークンを拒否したのと同じ扱いになる予定という。既存の事業者別の指定は併存する。Googleは、Google-Extendedが検索への掲載やランキングには影響しないと説明している。

Bingはさらに踏み込んだ。学習(AI Training)とAI回答での利用(AI Grounding)を切り分け、AI Groundingをページ単位の設定とした。値はAllow、DisallowExtended、Disallowの3つで、DisallowExtendedはMicrosoft自身のAI体験での利用だけを認める。Microsoftは「従来のBing検索結果への掲載資格を変えない」としつつ、「グラウンディングでDisallowExtendedまたはDisallowを選ぶと、AI体験でのブランドの可視性が下がる」と明記している。

ここが判断の分かれ目になる。学習素材としての提供は断り、AI回答には引用されたい、という組み合わせが選べる。

NoArchiveやNoCacheでAI利用を抑えてきたサイトには期限がある。Microsoftは2027年3月1日を移行期限としている。

今後の見通し

Googleは2027年に、他のAI事業者とともにこの仕組みに対応することを目指すとしている。ただし、どの事業者が実際に対応するかは確定していない。

ドラフトは初版で、仕様が変わる可能性がある。Googleは、Bingのように学習とAI回答での利用を分ける設定を示していない。書き換えを急ぐ段階ではないが、どの方針を取るかは2026年内に決めておきたい。

出典

無料会員登録で、本紙の調査データが読めます

販促費の実態調査、デジタル販促投資ランキングなど、独自調査の詳細版を会員向けに公開しています。記事の保存機能もご利用いただけます。

  • 独自調査の全データ
  • 記事の保存・あとで読む
  • 朝刊メール
  • キーワード通知
無料で登録する