Cloudflare現在為網站擁有者分別提供搜尋爬蟲、模型訓練爬蟲與AI代理程式的控制選項。其9月15日推出的功能為新網域提供兩種不同的起始設定。靠廣告營利的網站會獲建議採用Search: Allow、Training: Disallow AI Training，以及Agent: Block on pages with ads。不透過廣告營利的網站，三項都獲建議設為Allow。擁有者可在初始設定期間或之後變更建議值。

既有Cloudflare網域依照先前的選擇移轉。原本未開啟舊版「Block AI Bots」開關的網站，Search、Training與Agent都會移轉為Allow。曾選擇任一舊版封鎖選項的網站，則移轉為Search: Allow、Training: Disallow AI Training，以及Agent: Block on pages with ads。先前已設定三項控制的網域，會依Cloudflare的移轉表保留這些選擇的實際效果。所有方案都可使用這些控制，包括Free；方案是否符合資格，不能告訴擁有者網域目前採用哪項政策。

三種類別涵蓋什麼

Cloudflare的7月變更紀錄將Search（搜尋）定義為建立內容索引、用來回答之後查詢的爬取行為。Agent（代理程式）涵蓋代表個人即時執行的活動，包括聊天內容擷取機器人與瀏覽器操作代理程式。Training（訓練）涵蓋為模型訓練或微調而蒐集資料。爬蟲可能具有不只一種用途。Cloudflare表示，每項封鎖選項涵蓋其分類中已驗證的機器人，以及被歸為同類的其他未驗證機器人。這是依分類執行的控制，並不表示每個自動化瀏覽器或無法識別的請求都會被攔下。

對採用廣告營利建議值的網域，「Block on pages with ads」會對Cloudflare偵測到正在放送廣告的頁面套用Agent類別控制；它不是全站代理程式禁令。此預設組合仍允許Search。Training設定則不同：9月的Disallow AI Training（不允許AI訓練）透過Bot Preference Sync發布不供訓練的偏好，並封鎖訓練爬蟲，但Cloudflare稱為Accountable的混合用途爬蟲除外。這些Accountable爬蟲可在遵守訓練偏好的同時繼續進行搜尋爬取。Cloudflare表示，此設定會分別處理純訓練用途爬蟲，因此封鎖它們不必連搜尋一起關閉。

這套9月安排細化了7月文件；舊文件仍描述一種未來預設值，會在廣告頁面同時封鎖Training與Agent。較晚發布的上線公告與Cloudflare詳細的9月移轉及建議表，明列新加入的廣告營利網域應採Disallow AI Training，廣告頁封鎖則套用於Agent。不應將較早的描述解讀為適用於所有既有客戶的政策。

「Disallow」與「Block」對兼具搜尋和訓練用途的爬蟲也有不同效果。Cloudflare表示，混合用途爬蟲占其網路中已驗證爬蟲流量的36.6%，但此處沒有提供個別網站的可比較數字。完整的Training封鎖如今包括Googlebot、Bingbot與Applebot等混合用途爬蟲，也可能切斷它們的搜尋存取。Disallow AI Training旨在表達訓練限制的同時，保留Accountable混合用途爬蟲的搜尋存取。Cloudflare也指出目前的限制：Microsoft尚未在robots.txt中為Bingbot提供不供訓練偏好的支援，因此現在選擇Disallow AI Training，並不會自動將這項偏好傳達給Bing。

網站擁有者可以檢查什麼

在Cloudflare儀表板中，開啟該網域的Security Settings → Configure AI bot policies（安全性設定→設定AI機器人政策），檢查目前Search、Training與Agent的選擇。Cloudflare的設定文件說明Allow、Block與Block on pages with ads；9月的說明則解釋新增的Disallow AI Training選項與舊設定移轉方式。若網站依賴廣告曝光，應檢查網域是否採用廣告營利預設組合，以及Agent是否只限於偵測到廣告的頁面。若保留一般搜尋存取很重要，在對混合用途爬蟲選擇Block之前，應先檢查Training選項。

這些是Cloudflare已記錄的控制與推出規則。BIG CHANGE未變更任何Cloudflare帳號，也未量測上線網站的機器人流量。

重大變化

Cloudflare已將三種自動化存取用途拆成網域層級政策。對新加入的廣告營利網域，9月的建議保留搜尋存取、表達不供訓練偏好，並在偵測到廣告的頁面封鎖已分類的代理程式。既有擁有者應先查看自己移轉後的設定，再判斷存取規則。

來源與延伸閱讀