Cloudflare сада власницима сајтова даје одвојене контроле за претраживачке роботе, роботе за обуку модела и AI агенте. Његово увођење од 15. септембра новим доменима нуди две различите почетне конфигурације. Сајту који се финансира огласима предлаже се Search: Allow, Training: Disallow AI Training и Agent: Block on pages with ads. Сајту који не зарађује од огласа предлаже се Allow за све три категорије. Власници могу променити препоруке током почетног подешавања или касније.

Постојећи Cloudflare домени прате раније изборе. Сајт који је стари прекидач „Block AI Bots” оставио искључен прелази на Allow за Search, Training и Agent. Онај који је изабрао било коју од две старе опције блокирања прелази на Search: Allow, Training: Disallow AI Training и Agent: Block on pages with ads. Домени који су већ подесили три контроле задржавају практичан ефекат тих избора према Cloudflare-овој табели миграције. Контроле су доступне на сваком пакету, укључујући Free; доступност на пакету не говори власнику коју политику његов домен тренутно има.

Шта обухватају три категорије

Cloudflare-ов јулски дневник измена дефинише Search (претрагу) као прикупљање које индексира садржај ради одговора на касније упите. Agent (агенти) обухвата активност у реалном времену у нечије име, укључујући ботове који преузимају садржај за разговоре и агенте који користе прегледач. Training (обука) обухвата прикупљање за обуку или фино подешавање модела. Робот може имати више намена. Cloudflare каже да свака опција блокирања обухвата верификоване ботове у својој класификацији и додатне неверификоване ботове сврстане на исти начин. То је контрола заснована на класификацији, а не тврдња да ће сваки аутоматизовани прегледач или неидентификовани захтев бити ухваћен.

За домен који користи препоруку за сајтове са огласима, „Block on pages with ads” примењује се на категорију Agent на страницама за које Cloudflare открије да приказују огласе. То није забрана агената на целом сајту. Тај скуп поставки и даље дозвољава Search. Training је другачији: септембарски Disallow AI Training објављује жељу да се садржај не користи за обуку кроз Bot Preference Sync и блокира роботе за обуку осим вишенаменских робота које Cloudflare назива Accountable. Ти Accountable роботи могу наставити прикупљање за претрагу уз поштовање избора о обуци. Cloudflare каже да поставка засебно покрива роботе намењене само обуци, па њихово блокирање не мора искључити претрагу.

Овај септембарски распоред прецизира јулску документацију, која и даље описује будућу почетну поставку која блокира и Training и Agent на огласним страницама. Каснија објава о увођењу и детаљне Cloudflare табеле миграције и препорука из септембра наводе Disallow AI Training за нови домен са огласима, уз блокирање на огласним страницама примењено на Agent. Старији опис не треба читати као универзалну политику за постојеће кориснике.

„Disallow” и „Block” такође различито делују на робота који служи и претрази и обуци. Cloudflare каже да вишенаменски роботи чине 36.6% саобраћаја верификованих робота на његовој мрежи, али овде не даје упоредив број за појединачне сајтове. Потпуно Training блокирање сада укључује вишенаменске роботе као што су Googlebot, Bingbot и Applebot, што може укинути и њихов приступ за претрагу. Disallow AI Training је намењен задржавању приступа претрази за Accountable вишенаменске роботе уз изражавање ограничења обуке. Cloudflare наводи садашње ограничење: Microsoft још није испоручио подршку за избор без обуке у robots.txt за Bingbot, па избор Disallow AI Training данас не преноси ту жељу аутоматски претраживачу Bing.

Шта власник сајта може да провери

На Cloudflare контролној табли отворите за домен Security Settings → Configure AI bot policies (Безбедносна подешавања → Подешавање правила за AI ботове) и прегледајте тренутне изборе за Search, Training и Agent. Cloudflare-ова документација за подешавање описује Allow, Block и Block on pages with ads; септембарски приказ објашњава додатни избор Disallow AI Training и миграцију старих поставки. Ако сајт зависи од приказа огласа, проверите да ли домен користи препоручени скуп за огласе и да ли је Agent ограничен на странице са откривеним огласима. Ако је важно задржати обичан приступ претрази, проверите избор Training пре него што за вишенаменске роботе одаберете Block.

Ово су документоване Cloudflare контроле и правила увођења. BIG CHANGE није мењао Cloudflare налог нити мерио саобраћај ботова на активном сајту.

Велика промена

Cloudflare је три намене аутоматизованог приступа раздвојио у политике на нивоу домена. За нове домене са огласима септембарска препорука оставља претрагу отвореном, изражава избор без обуке и блокира класификоване агенте на страницама са откривеним огласима. Постојећи власници треба да прочитају сопствене пренете поставке пре закључивања о приступу.

Извори и додатно читање