Cloudflareは現在、サイト所有者が検索クローラー、モデル学習用クローラー、AIエージェントを個別に制御できるようにしている。9月15日の展開では、新規ドメインに2種類の初期構成を提案している。広告で収益化するサイトへの推奨は、SearchがAllow、TrainingがDisallow AI Training、AgentがBlock on pages with adsとなる。広告で収益化しないサイトには、3つともAllowを提案する。所有者は導入時にも、その後にも推奨設定を変更できる。

既存のCloudflareドメインには以前の選択が引き継がれる。旧「Block AI Bots」スイッチをオフにしていたサイトは、Search、Training、AgentのすべてがAllowに移行する。従来の2種類のブロック設定のどちらかを選んでいたサイトは、SearchがAllow、TrainingがDisallow AI Training、AgentがBlock on pages with adsに移行する。3つの制御をすでに設定していたドメインでは、Cloudflareの移行表に従い、その選択の実質的な効果が維持される。これらの制御はFreeを含むすべてのプランで利用できる。ただし、利用可能なプランかどうかだけでは、そのドメインに現在適用されているポリシーは分からない。

3つのカテゴリーが対象とするもの

Cloudflareの7月の変更履歴では、各カテゴリーを次のように定義している。Searchは、後の検索要求に回答するためにコンテンツを索引化するクロールを指す。Agentは、チャット用に内容を取得するボットやブラウザー操作エージェントなど、人に代わってリアルタイムで行う活動を対象とする。Trainingは、モデルの学習やファインチューニングのための収集を対象とする。1つのクローラーに複数の目的がある場合もある。Cloudflareによると、各ブロック設定は、その分類に属する検証済みボットと、同じ分類に割り当てられた追加の未検証ボットを対象とする。これは分類に基づく制御であり、自動操作されるすべてのブラウザーや識別できないすべての要求を検出できるという主張ではない。

広告収益型サイト向けの推奨設定を使うドメインでは、「Block on pages with ads」は、Cloudflareが広告を配信していると検知したページ上のAgentカテゴリーに適用される。サイト全体でエージェントを禁止する意味ではない。このプリセットではSearchは引き続き許可される。Trainingの設定は異なる。9月のDisallow AI Trainingは、Bot Preference Syncを通じて学習を許可しない意思を公開し、CloudflareがAccountableと呼ぶ複数用途のクローラーを除く学習クローラーをブロックする。これらのAccountableクローラーは、学習に関する意思を尊重しながら検索用クロールを続けられる。Cloudflareは、学習専用クローラーを別に扱う設定だと説明している。そのため、学習専用クローラーのブロックで検索まで停止する必要はない。

この9月の仕組みは、7月の文書に補足と修正を加えたものだ。7月の文書には、広告ページでTrainingとAgentの両方をブロックする将来の初期設定が今も記載されている。それより後のリリース発表とCloudflareの9月の詳細な移行表・推奨設定表では、広告収益型の新規ドメインにはDisallow AI Trainingを指定し、広告ページでのブロックはAgentに適用している。以前の説明を既存顧客すべてに共通するポリシーと解釈すべきではない。

「Disallow」と「Block」は、検索と学習の両方に使うクローラーへの影響も異なる。Cloudflareによると、複数用途のクローラーは同社ネットワーク上の検証済みクローラートラフィックの36.6%を占める。ただし、個々のサイトについて比較可能な数値はここでは示していない。Trainingを全面的にブロックすると、現在はGooglebot、Bingbot、Applebotなどの複数用途のクローラーも対象となり、検索のためのアクセスまで失われる可能性がある。Disallow AI Trainingは、学習の制限を示しながら、Accountableに分類される複数用途のクローラーの検索アクセスを維持することを意図している。Cloudflareは現時点の制約も指摘する。Microsoftは、Bingbotについて、robots.txt内で学習を許可しない意思を示す設定への対応をまだ提供していない。そのため、現在Disallow AI Trainingを選んでも、その意思がBingに自動的に伝わるわけではない。

サイト所有者が確認できること

Cloudflareダッシュボードで、対象ドメインのSecurity Settings → Configure AI bot policiesを開き、Search、Training、Agentの現在の選択を確認する。Cloudflareの設定文書にはAllow、Block、Block on pages with adsの説明があり、9月の解説には追加されたDisallow AI Trainingと従来設定の移行が説明されている。広告表示に依存するサイトなら、ドメインが広告収益型向けのプリセットを使っているか、Agentのブロックが広告を検知したページに限定されているかを確認する。従来型の検索アクセスの維持が重要なら、複数用途のクローラーにBlockを選ぶ前にTrainingの選択を確認したい。

以上はCloudflareが文書で公開している制御と展開ルールである。BIG CHANGEはCloudflareアカウントの設定変更や、稼働中のサイトでのボットトラフィック測定を行っていない。

大きな変化

Cloudflareは自動アクセスの3つの用途を、ドメイン単位の別々のポリシーに分けた。広告で収益化する新規ドメインへの9月の推奨設定は、検索を開放し、学習を許可しない意思を示し、広告を検知したページで分類済みのエージェントをブロックする。既存ドメインの所有者は、アクセスについて結論を出す前に、自分の移行後の設定を確認する必要がある。

出典・参考資料