Markdown 版本

AI-translated from English; not yet reviewed by a fluent editor.

# Cloudflare 的 AI 机器人默认设置取决于网站广告和现有配置

> Cloudflare 为新接入的广告支持型域名提供禁止训练的设置，并在有广告的页面上拦截代理。现有域名沿用迁移后的选择；网站所有者可以检查全部三项控制。

By BIG CHANGE Editorial

Published: 2026-10-18T21:03:34.849Z
Updated: 2026-10-18T21:03:34.849Z
Canonical: https://bigchange.ai/blog/cloudflare-ai-search-training-agent-access-controls

![Conceptual charcoal illustration of an empty chair facing a wall-mounted display of a generic webpage with a prominent orange advertising area.](https://bigchange.ai/api/media/file/cloudflare-ad-page-concept-v2.png)
AI-generated conceptual illustration by BIG CHANGE; no real website, Cloudflare setting, crawler access or test result is depicted.

Cloudflare 现在让网站所有者分别控制搜索爬虫、模型训练爬虫和 AI 代理。其[9 月 15 日推出的更新](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/)为新域名提供两种不同的初始配置。依靠广告盈利的网站会获得以下建议：Search 设为 Allow，Training 设为 Disallow AI Training，Agent 设为 Block on pages with ads。不通过广告变现的网站则会获得三项均设为 Allow 的建议。所有者可在接入过程中或之后更改这些建议。

现有 Cloudflare 域名遵循之前的选择。如果网站此前没有开启旧版“Block AI Bots”开关，迁移后 Search、Training 和 Agent 都会设为 Allow。如果选择了任一旧版拦截选项，则会迁移为 Search：Allow、Training：Disallow AI Training，以及 Agent：Block on pages with ads。已经配置过这三项控制的域名，会按照 Cloudflare 的[迁移表](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/)保留原有选择的实际效果。这些控制适用于所有套餐，包括 Free；套餐是否支持这些功能，并不能说明某个域名当前采用哪种策略。

## 三种类别分别涵盖什么

Cloudflare 的[7 月更新日志](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/)将相关类别定义如下：**Search**指为了回答后续查询而为内容建立索引的抓取活动。**Agent**涵盖代表个人实时执行的活动，包括为聊天获取内容的机器人和使用浏览器的代理。**Training**涵盖为模型训练或微调而进行的数据收集。一个爬虫可能有多种用途。Cloudflare 表示，每个拦截选项都覆盖其分类中的已验证机器人，以及被划入同一类别的其他未验证机器人。这是一种基于分类的控制，并不代表每个自动化浏览器或身份不明的请求都会被拦截。

对于采用广告支持型网站建议配置的域名，“Block on pages with ads”针对的是 Cloudflare 检测到展示广告的页面上的 Agent 类别，并非在整个网站禁止代理。该预设仍允许 Search。Training 的设置不同：9 月推出的**Disallow AI Training**会通过 Bot Preference Sync 发布不允许训练的偏好，并拦截训练爬虫，但 Cloudflare 称为 Accountable 的混合用途爬虫除外。这些 Accountable 爬虫可以在遵守训练偏好的同时继续进行搜索抓取。Cloudflare 表示，该设置单独处理仅用于训练的爬虫，因此拦截这些爬虫不一定要同时关闭搜索访问。

9 月的安排进一步细化了[7 月的文档](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)。后者仍描述了一种未来默认设置：在有广告的页面同时拦截 Training 和 Agent。较晚发布的[产品发布公告](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/)以及 Cloudflare 9 月的详细迁移表和建议表明确指出，新接入的广告支持型域名应采用 Disallow AI Training，而广告页面拦截则应用于 Agent。不应把较早的描述理解为适用于现有客户的统一策略。

“Disallow”和“Block”对同时用于搜索与训练的爬虫也有不同影响。Cloudflare 表示，混合用途爬虫占其网络上已验证爬虫流量的 36.6%，但这里并未提供单个网站的可比数据。完整的 Training 拦截现在也包括 Googlebot、Bingbot 和 Applebot 等混合用途爬虫，因此可能同时移除它们的搜索访问权限。Disallow AI Training 旨在表达训练限制的同时，保留 Accountable 混合用途爬虫的搜索访问。Cloudflare 指出目前存在一个限制：Microsoft 尚未为 Bingbot 推出对`robots.txt`中的禁止训练偏好的支持，因此如今选择 Disallow AI Training 并不会自动把这一偏好传达给 Bing。

## 网站所有者可以检查什么

在 Cloudflare 控制台中，打开域名的**Security Settings → Configure AI bot policies**，查看 Search、Training 和 Agent 当前分别选择了什么。Cloudflare 的[配置文档](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)介绍了 Allow、Block 和 Block on pages with ads；其 9 月的说明解释了新增的 Disallow AI Training 选项和旧设置的迁移方式。如果网站依赖广告展示，应检查域名是否采用广告支持型预设，以及 Agent 是否仅限于在检测到广告的页面上被拦截。如果保留常规搜索访问很重要，应在为混合用途爬虫选择 Block 之前检查 Training 选项。

以上是 Cloudflare 文档记载的控制功能和推出规则。BIG CHANGE 未更改任何 Cloudflare 账户，也未测量线上网站的机器人流量。

## 重大变化

Cloudflare 已将自动化访问的三种用途拆分为域名级策略。对于新接入的广告支持型域名，其 9 月建议配置保留搜索访问，表达禁止训练的偏好，并在检测到广告的页面拦截已分类的代理。现有域名所有者需要阅读自己迁移后的设置，才能判断访问权限。

## 资料来源与延伸阅读

- [Cloudflare：《兼顾两者：保持搜索可发现性，同时禁止 AI 训练》](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/)（2026 年 9 月 15 日）。详细的推出资料：建议表和迁移表、混合用途爬虫的行为，以及 Bing 的限制。
- [Cloudflare：《Cloudflare 帮助消除搜索与 AI 训练之间的取舍》](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/)（2026 年 9 月 15 日）。发布公告区分了新接入的广告支持型网站与其他新网站。
- [Cloudflare Developers：《管理 AI 流量的新选项》](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/)（2026 年 7 月 1 日）。最初推出三种类别的公告，以及较早的默认设置说明。
- [Cloudflare Docs：《拦截 AI 机器人》](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)（页面标注最后更新于 2026 年 7 月 1 日）。介绍定义、已分类的已验证及未验证机器人，以及控制台位置；其在推出前对默认设置的表述与 9 月的详细策略有所不同。

## Sources

- [Cloudflare：《拦截 AI 机器人》（最后更新于 2026-07-01）](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) — 日期标注为 7 月 1 日的第一手配置文档：类别定义、已验证和未验证机器人的分类、广告页面检测及控制台路径。其对未来默认设置的描述早于 9 月推出的更新，已被后来的详细说明取代。
- [Cloudflare：AI 流量控制发布公告（2026-09-15）](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) — 第一手发布公告：新接入的广告支持型网站允许 Search、禁止 Training，并在有广告的页面拦截 Agent；其他新网站则允许全部三项。
- [Cloudflare Developers：《管理 AI 流量的新选项》（2026-07-01）](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) — 最初推出三种类别的公告及对 9 月默认设置的预告，保留用于交代时间顺序，而非作为最终推出规则。
- [Cloudflare：《兼顾两者：保持搜索可发现性，同时禁止 AI 训练》（2026-09-15）](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — 用于确定实际规则的详细推出记录：新域名建议、现有域名迁移、混合用途爬虫的 Disallow 与 Block 区别，以及 Bingbot 的限制。