Cloudflare 现在让网站所有者分别控制搜索爬虫、模型训练爬虫和 AI 代理。其9 月 15 日推出的更新为新域名提供两种不同的初始配置。依靠广告盈利的网站会获得以下建议：Search 设为 Allow，Training 设为 Disallow AI Training，Agent 设为 Block on pages with ads。不通过广告变现的网站则会获得三项均设为 Allow 的建议。所有者可在接入过程中或之后更改这些建议。

现有 Cloudflare 域名遵循之前的选择。如果网站此前没有开启旧版“Block AI Bots”开关，迁移后 Search、Training 和 Agent 都会设为 Allow。如果选择了任一旧版拦截选项，则会迁移为 Search：Allow、Training：Disallow AI Training，以及 Agent：Block on pages with ads。已经配置过这三项控制的域名，会按照 Cloudflare 的迁移表保留原有选择的实际效果。这些控制适用于所有套餐，包括 Free；套餐是否支持这些功能，并不能说明某个域名当前采用哪种策略。

三种类别分别涵盖什么

Cloudflare 的7 月更新日志将相关类别定义如下：Search指为了回答后续查询而为内容建立索引的抓取活动。Agent涵盖代表个人实时执行的活动，包括为聊天获取内容的机器人和使用浏览器的代理。Training涵盖为模型训练或微调而进行的数据收集。一个爬虫可能有多种用途。Cloudflare 表示，每个拦截选项都覆盖其分类中的已验证机器人，以及被划入同一类别的其他未验证机器人。这是一种基于分类的控制，并不代表每个自动化浏览器或身份不明的请求都会被拦截。

对于采用广告支持型网站建议配置的域名，“Block on pages with ads”针对的是 Cloudflare 检测到展示广告的页面上的 Agent 类别，并非在整个网站禁止代理。该预设仍允许 Search。Training 的设置不同：9 月推出的Disallow AI Training会通过 Bot Preference Sync 发布不允许训练的偏好，并拦截训练爬虫，但 Cloudflare 称为 Accountable 的混合用途爬虫除外。这些 Accountable 爬虫可以在遵守训练偏好的同时继续进行搜索抓取。Cloudflare 表示，该设置单独处理仅用于训练的爬虫，因此拦截这些爬虫不一定要同时关闭搜索访问。

9 月的安排进一步细化了7 月的文档。后者仍描述了一种未来默认设置：在有广告的页面同时拦截 Training 和 Agent。较晚发布的产品发布公告以及 Cloudflare 9 月的详细迁移表和建议表明确指出，新接入的广告支持型域名应采用 Disallow AI Training，而广告页面拦截则应用于 Agent。不应把较早的描述理解为适用于现有客户的统一策略。

“Disallow”和“Block”对同时用于搜索与训练的爬虫也有不同影响。Cloudflare 表示，混合用途爬虫占其网络上已验证爬虫流量的 36.6%，但这里并未提供单个网站的可比数据。完整的 Training 拦截现在也包括 Googlebot、Bingbot 和 Applebot 等混合用途爬虫，因此可能同时移除它们的搜索访问权限。Disallow AI Training 旨在表达训练限制的同时，保留 Accountable 混合用途爬虫的搜索访问。Cloudflare 指出目前存在一个限制：Microsoft 尚未为 Bingbot 推出对robots.txt中的禁止训练偏好的支持，因此如今选择 Disallow AI Training 并不会自动把这一偏好传达给 Bing。

网站所有者可以检查什么

在 Cloudflare 控制台中，打开域名的Security Settings → Configure AI bot policies，查看 Search、Training 和 Agent 当前分别选择了什么。Cloudflare 的配置文档介绍了 Allow、Block 和 Block on pages with ads；其 9 月的说明解释了新增的 Disallow AI Training 选项和旧设置的迁移方式。如果网站依赖广告展示，应检查域名是否采用广告支持型预设，以及 Agent 是否仅限于在检测到广告的页面上被拦截。如果保留常规搜索访问很重要，应在为混合用途爬虫选择 Block 之前检查 Training 选项。

以上是 Cloudflare 文档记载的控制功能和推出规则。BIG CHANGE 未更改任何 Cloudflare 账户，也未测量线上网站的机器人流量。

重大变化

Cloudflare 已将自动化访问的三种用途拆分为域名级策略。对于新接入的广告支持型域名，其 9 月建议配置保留搜索访问，表达禁止训练的偏好，并在检测到广告的页面拦截已分类的代理。现有域名所有者需要阅读自己迁移后的设置，才能判断访问权限。

资料来源与延伸阅读