GoogleとMicrosoftは米国時間2026年10月30日(日本時間10月31日)、サイトのコンテンツをAIの学習に使わせるかどうかを、robots.txtの共通トークンで一括指定できる仕組みに対応すると表明した。AI事業者ごとにクローラー名を書き並べる必要がなくなる。適用はGoogleが2027年初め、Microsoft Bingが2027年2月1日。
背景
robots.txtでのAI学習の制御は、これまで事業者ごとに分かれていた。GoogleはGoogle-Extended、OpenAIはGPTBotといった具合に、拒否したい相手を個別に列挙する必要があった。
共通トークンの根拠は、2026年10月30日付のインターネットドラフト「Machine-Readable Training Preference Signal」である。著者はAnthropicのKevin Kelley氏。定義されたポリシートークンが「__usage_ai-training」だ。ただしドラフト自身が「IETFの承認を受けておらず、公式な位置づけを持たない」と記す。確定した標準ではない。Googleは共通クローラーのページに、対応の意向を10月30日付で注記した。
事業者への影響
robots.txtに次の2行を置くと、サイト全体でAI学習への利用を拒否できる。
User-Agent: __usage_ai-training
Disallow: /
パス単位の指定もできる。ただしドラフトは、このトークンが「クロール動作に対する指示ではない」と明記する。拒否してもクロール自体は止まらない。
Googleでの扱いは、Search AdvocateのJohn Mueller氏の説明をSearch Engine Roundtableが伝えている。共通トークンで学習を拒否し、Google-Extendedを明示していない場合、同トークンを拒否したのと同じ扱いになる予定という。既存の事業者別の指定は併存する。Googleは、Google-Extendedが検索への掲載やランキングには影響しないと説明している。
Bingはさらに踏み込んだ。学習(AI Training)とAI回答での利用(AI Grounding)を切り分け、AI Groundingをページ単位の設定とした。値はAllow、DisallowExtended、Disallowの3つで、DisallowExtendedはMicrosoft自身のAI体験での利用だけを認める。Microsoftは「従来のBing検索結果への掲載資格を変えない」としつつ、「グラウンディングでDisallowExtendedまたはDisallowを選ぶと、AI体験でのブランドの可視性が下がる」と明記している。
ここが判断の分かれ目になる。学習素材としての提供は断り、AI回答には引用されたい、という組み合わせが選べる。
NoArchiveやNoCacheでAI利用を抑えてきたサイトには期限がある。Microsoftは2027年3月1日を移行期限としている。
今後の見通し
Googleは2027年に、他のAI事業者とともにこの仕組みに対応することを目指すとしている。ただし、どの事業者が実際に対応するかは確定していない。
ドラフトは初版で、仕様が変わる可能性がある。Googleは、Bingのように学習とAI回答での利用を分ける設定を示していない。書き換えを急ぐ段階ではないが、どの方針を取るかは2026年内に決めておきたい。
出典
- Google Search Central Blog「Supporting a shared AI training control for websites」(掲載日はページ上で確認できず) https://developers.google.com/search/blog/2026/10/ai-training-control
- Google「Google common crawlers」Google-Extendedの項 https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google「Crawling and indexing documentation changelog」2026年10月30日 https://developers.google.com/crawling/docs/changelog
- Microsoft Bing Blogs「Your content, your choice: clearer preferences for training and grounding」2026年10月30日 https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/
- IETF Datatracker「Machine-Readable Training Preference Signal」draft-kelley-aipref-training-preference-signal-00、2026年10月30日 https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
- Search Engine Roundtable「Google Adopts New AI Training Control」2026年10月30日(米国時間) https://www.seroundtable.com/google-ai-training-control-42430.html




