May hiwalay nang kontrol ang Cloudflare para sa mga search crawler, crawler para sa training ng modelo at AI agent. Ang paglulunsad nito noong Setyembre 15 ay nag-aalok ng dalawang magkaibang panimulang configuration para sa mga bagong domain. Iminumungkahi sa site na kumikita sa ad ang Search: Allow, Training: Disallow AI Training at Agent: Block on pages with ads. Sa site na hindi kumikita mula sa ad, Allow ang iniaalok para sa tatlo. Maaaring baguhin ng may-ari ang mga rekomendasyon sa unang pag-set up o pagkatapos nito.

Sinusunod ng mga dati nang Cloudflare domain ang kanilang naunang pagpili. Ang site na iniwang naka-off ang lumang “Block AI Bots” switch ay inililipat sa Allow para sa Search, Training at Agent. Ang pumili sa alinman sa dalawang lumang blocking option ay inililipat sa Search: Allow, Training: Disallow AI Training at Agent: Block on pages with ads. Pinananatili ng mga domain na nakapag-configure na ng tatlong kontrol ang praktikal na epekto ng mga pagpiling iyon ayon sa migration table ng Cloudflare. Available ang mga kontrol sa lahat ng plan, kasama ang Free; hindi sinasabi ng pagiging kuwalipikado ng plan kung anong patakaran ang kasalukuyang ginagamit ng domain.

Ano ang saklaw ng tatlong kategorya

Sa changelog noong Hulyo ng Cloudflare, ang Search (paghahanap) ay crawling na nag-i-index ng nilalaman para sagutin ang mga susunod na query. Ang Agent (ahente) ay sumasaklaw sa real-time na gawain para sa isang tao, kasama ang mga bot na kumukuha ng nilalaman para sa chat at mga agent na gumagamit ng browser. Ang Training (pagsasanay) ay sumasaklaw sa pangongolekta para sa training o fine-tuning ng modelo. Maaaring higit sa isa ang layunin ng isang crawler. Ayon sa Cloudflare, bawat blocking option ay sumasaklaw sa verified bot sa kategorya nito at dagdag na unverified bot na ganoon din ang klasipikasyon. Kontrol ito batay sa klasipikasyon, hindi pangakong mahuhuli ang bawat automated browser o hindi kilalang request.

Sa domain na gumagamit ng rekomendasyon para sa site na may ad, ang “Block on pages with ads” ay nalalapat sa Agent sa mga pahinang natutukoy ng Cloudflare na nagpapakita ng ad. Hindi ito pagbabawal ng agent sa buong site. Pinapayagan pa rin ng preset ang Search. Iba ang Training: ang Disallow AI Training noong Setyembre ay naglalathala ng kagustuhang huwag gamitin sa training sa pamamagitan ng Bot Preference Sync at nagba-block ng training crawler maliban sa mixed-use crawler na tinatawag ng Cloudflare na Accountable. Maaaring magpatuloy ang mga Accountable crawler sa search crawling habang iginagalang ang kagustuhan sa training. Ayon sa Cloudflare, hiwalay na sinasaklaw ng setting ang mga crawler na para lamang sa training, kaya hindi kailangang patayin ang search para i-block ang mga iyon.

Nililinaw ng kaayusang ito noong Setyembre ang dokumentasyon noong Hulyo, na naglalarawan pa rin ng magiging default na nagba-block ng Training at Agent sa mga pahinang may ad. Ang mas bagong anunsyo ng paglulunsad at ang detalyadong migration at recommendation table ng Cloudflare noong Setyembre ay nagsasaad ng Disallow AI Training para sa bagong domain na kumikita sa ad, habang sa Agent inilalapat ang block sa mga pahinang may ad. Hindi dapat ituring ang lumang paliwanag na pangkalahatang patakaran para sa lahat ng dating customer.

Magkaiba rin ang epekto ng “Disallow” at “Block” sa crawler na gamit para sa search at training. Ayon sa Cloudflare, mixed-use crawler ang 36.6% ng verified crawler traffic sa network nito, ngunit wala itong ibinigay na maihahambing na bilang dito para sa bawat site. Kasama na sa ganap na Training block ang mixed-use crawler tulad ng Googlebot, Bingbot at Applebot, kaya maaaring mawala rin ang access nila para sa search. Layunin ng Disallow AI Training na panatilihin ang search access ng Accountable mixed-use crawler habang ipinapahayag ang limitasyon sa training. May kasalukuyang hangganan ayon sa Cloudflare: hindi pa naglalabas ang Microsoft ng suporta para sa no-training preference sa robots.txt para sa Bingbot, kaya hindi awtomatikong naipapahayag sa Bing ngayon ang kagustuhang iyon kapag pinili ang Disallow AI Training.

Ano ang maaaring tingnan ng may-ari ng site

Sa Cloudflare dashboard, buksan para sa domain ang Security Settings → Configure AI bot policies (Mga setting ng seguridad → I-configure ang mga patakaran sa AI bot) at tingnan ang kasalukuyang Search, Training at Agent na pagpili. Ang dokumentasyon ng configuration ng Cloudflare ay naglalarawan ng Allow, Block at Block on pages with ads; ipinapaliwanag ng paglalahad noong Setyembre ang dagdag na Disallow AI Training at paglipat ng mga lumang setting. Kung umaasa sa ad impression ang site, tingnan kung ginagamit ng domain ang preset para sa may ad at kung sa mga natukoy na ad page lamang limitado ang Agent. Kung mahalagang panatilihin ang karaniwang search access, tingnan ang Training bago piliin ang Block para sa mixed-use crawler.

Ito ang mga kontrol at tuntunin ng paglulunsad na nakadokumento sa Cloudflare. Hindi nagbago ng Cloudflare account ang BIG CHANGE o nagsukat ng bot traffic sa isang aktibong site.

Ang malaking pagbabago

Pinaghiwalay ng Cloudflare ang tatlong gamit ng automated access sa mga patakarang pang-domain. Para sa mga bagong domain na may ad, pinananatiling bukas ng rekomendasyon noong Setyembre ang search, ipinapahayag ang kagustuhang walang training at bina-block ang mga agent na naklasipika sa mga pahinang natukoy na may ad. Kailangang basahin ng mga dati nang may-ari ang sarili nilang nailipat na setting bago magpasya kung anong access ang umiiral.

Mga sanggunian at karagdagang babasahin