Cloudflare sada vlasnicima sajtova daje odvojene kontrole za pretraživačke robote, robote za obuku modela i AI agente. Njegovo uvođenje od 15. septembra novim domenima nudi dve različite početne konfiguracije. Sajtu koji se finansira oglasima predlaže se Search: Allow, Training: Disallow AI Training i Agent: Block on pages with ads. Sajtu koji ne zarađuje od oglasa predlaže se Allow za sve tri kategorije. Vlasnici mogu promeniti preporuke tokom početnog podešavanja ili kasnije.

Postojeći Cloudflare domeni prate ranije izbore. Sajt koji je stari prekidač „Block AI Bots” ostavio isključen prelazi na Allow za Search, Training i Agent. Onaj koji je izabrao bilo koju od dve stare opcije blokiranja prelazi na Search: Allow, Training: Disallow AI Training i Agent: Block on pages with ads. Domeni koji su već podesili tri kontrole zadržavaju praktičan efekat tih izbora prema Cloudflare-ovoj tabeli migracije. Kontrole su dostupne na svakom paketu, uključujući Free; dostupnost na paketu ne govori vlasniku koju politiku njegov domen trenutno ima.

Šta obuhvataju tri kategorije

Cloudflare-ov julski dnevnik izmena definiše Search (pretragu) kao prikupljanje koje indeksira sadržaj radi odgovora na kasnije upite. Agent (agenti) obuhvata aktivnost u realnom vremenu u nečije ime, uključujući botove koji preuzimaju sadržaj za razgovore i agente koji koriste pregledač. Training (obuka) obuhvata prikupljanje za obuku ili fino podešavanje modela. Robot može imati više namena. Cloudflare kaže da svaka opcija blokiranja obuhvata verifikovane botove u svojoj klasifikaciji i dodatne neverifikovane botove svrstane na isti način. To je kontrola zasnovana na klasifikaciji, a ne tvrdnja da će svaki automatizovani pregledač ili neidentifikovani zahtev biti uhvaćen.

Za domen koji koristi preporuku za sajtove sa oglasima, „Block on pages with ads” primenjuje se na kategoriju Agent na stranicama za koje Cloudflare otkrije da prikazuju oglase. To nije zabrana agenata na celom sajtu. Taj skup postavki i dalje dozvoljava Search. Training je drugačiji: septembarski Disallow AI Training objavljuje želju da se sadržaj ne koristi za obuku kroz Bot Preference Sync i blokira robote za obuku osim višenamenskih robota koje Cloudflare naziva Accountable. Ti Accountable roboti mogu nastaviti prikupljanje za pretragu uz poštovanje izbora o obuci. Cloudflare kaže da postavka zasebno pokriva robote namenjene samo obuci, pa njihovo blokiranje ne mora isključiti pretragu.

Ovaj septembarski raspored precizira julsku dokumentaciju, koja i dalje opisuje buduću početnu postavku koja blokira i Training i Agent na oglasnim stranicama. Kasnija objava o uvođenju i detaljne Cloudflare tabele migracije i preporuka iz septembra navode Disallow AI Training za novi domen sa oglasima, uz blokiranje na oglasnim stranicama primenjeno na Agent. Stariji opis ne treba čitati kao univerzalnu politiku za postojeće korisnike.

„Disallow” i „Block” takođe različito deluju na robota koji služi i pretrazi i obuci. Cloudflare kaže da višenamenski roboti čine 36.6% saobraćaja verifikovanih robota na njegovoj mreži, ali ovde ne daje uporediv broj za pojedinačne sajtove. Potpuno Training blokiranje sada uključuje višenamenske robote kao što su Googlebot, Bingbot i Applebot, što može ukinuti i njihov pristup za pretragu. Disallow AI Training je namenjen zadržavanju pristupa pretrazi za Accountable višenamenske robote uz izražavanje ograničenja obuke. Cloudflare navodi sadašnje ograničenje: Microsoft još nije isporučio podršku za izbor bez obuke u robots.txt za Bingbot, pa izbor Disallow AI Training danas ne prenosi tu želju automatski Bingu.

Šta vlasnik sajta može da proveri

Na Cloudflare kontrolnoj tabli otvorite za domen Security Settings → Configure AI bot policies (Bezbednosna podešavanja → Podešavanje pravila za AI botove) i pregledajte trenutne izbore za Search, Training i Agent. Cloudflare-ova dokumentacija za podešavanje opisuje Allow, Block i Block on pages with ads; septembarski prikaz objašnjava dodatni izbor Disallow AI Training i migraciju starih postavki. Ako sajt zavisi od prikaza oglasa, proverite da li domen koristi preporučeni skup za oglase i da li je Agent ograničen na stranice sa otkrivenim oglasima. Ako je važno zadržati običan pristup pretrazi, proverite izbor Training pre nego što za višenamenske robote odaberete Block.

Ovo su dokumentovane Cloudflare kontrole i pravila uvođenja. BIG CHANGE nije menjao Cloudflare nalog niti merio saobraćaj botova na aktivnom sajtu.

Velika promena

Cloudflare je tri namene automatizovanog pristupa razdvojio u politike na nivou domena. Za nove domene sa oglasima septembarska preporuka ostavlja pretragu otvorenom, izražava izbor bez obuke i blokira klasifikovane agente na stranicama sa otkrivenim oglasima. Postojeći vlasnici treba da pročitaju sopstvene prenete postavke pre zaključivanja o pristupu.

Izvori i dodatno čitanje