Cloudflare ఇప్పుడు వెబ్‌సైట్ యజమానులకు సెర్చ్ క్రాలర్లు, మోడల్ శిక్షణ క్రాలర్లు, AI ఏజెంట్ల కోసం వేర్వేరు నియంత్రణలు ఇస్తోంది. దాని సెప్టెంబర్ 15 విడుదల కొత్త డొమైన్‌లకు రెండు వేర్వేరు ప్రారంభ అమరికలను సూచిస్తుంది. ప్రకటనల ద్వారా ఆదాయం పొందే సైట్‌కు Search: Allow, Training: Disallow AI Training, Agent: Block on pages with ads సూచిస్తారు. ప్రకటనలతో ఆదాయం పొందని సైట్‌కు మూడింటికీ Allow సూచిస్తారు. యజమానులు ప్రారంభ సెటప్‌లో లేదా తర్వాత ఈ సిఫార్సులను మార్చుకోవచ్చు.

ప్రస్తుత Cloudflare డొమైన్‌లు తమ మునుపటి ఎంపికలను అనుసరిస్తాయి. పాత “Block AI Bots” స్విచ్‌ను ఆఫ్‌లో ఉంచిన సైట్ Search, Training, Agent మూడింటిలో Allowకు మారుతుంది. పాత రెండు బ్లాకింగ్ ఎంపికల్లో ఏదైనా ఎంచుకున్న సైట్ Search: Allow, Training: Disallow AI Training, Agent: Block on pages with adsకు మారుతుంది. ఇప్పటికే మూడు నియంత్రణలను అమర్చిన డొమైన్‌లు Cloudflare మైగ్రేషన్ పట్టిక ప్రకారం ఆ ఎంపికల ఆచరణాత్మక ప్రభావాన్ని ఉంచుకుంటాయి. Free సహా ప్రతి ప్లాన్‌లో ఈ నియంత్రణలు అందుబాటులో ఉన్నాయి; ప్లాన్‌లో అర్హత ఉందనే సమాచారం మాత్రమే డొమైన్‌కు ప్రస్తుతం ఏ విధానం వర్తిస్తుందో చెప్పదు.

మూడు వర్గాలు దేనిని కవర్ చేస్తాయి

Cloudflare జూలై మార్పుల చిట్టా ప్రకారం Search (శోధన) అనేది తర్వాతి ప్రశ్నలకు సమాధానం ఇవ్వడానికి కంటెంట్‌ను సూచికలో చేర్చే క్రాలింగ్. Agent (ఏజెంట్) అనేది ఒక వ్యక్తి తరఫున జరిగే రియల్‌టైమ్ కార్యకలాపాలను కవర్ చేస్తుంది; చాట్ కోసం కంటెంట్ తెచ్చే బాట్‌లు, బ్రౌజర్ వినియోగ ఏజెంట్లు ఇందులో ఉంటాయి. Training (శిక్షణ) అంటే మోడల్ శిక్షణ లేదా ఫైన్‌ట్యూనింగ్ కోసం సేకరణ. ఒక క్రాలర్‌కు ఒకటి కంటే ఎక్కువ ప్రయోజనాలు ఉండవచ్చు. ప్రతి బ్లాకింగ్ ఎంపిక తన వర్గీకరణలోని ధ్రువీకరించిన బాట్‌లను, అదే విధంగా వర్గీకరించిన అదనపు ధ్రువీకరించని బాట్‌లను కవర్ చేస్తుందని Cloudflare చెబుతోంది. ఇది వర్గీకరణ ఆధారిత నియంత్రణ; ప్రతి ఆటోమేటెడ్ బ్రౌజర్ లేదా గుర్తించని అభ్యర్థనను పట్టుకుంటుందనే వాదన కాదు.

ప్రకటన-ఆధారిత సిఫార్సును వాడే డొమైన్‌లో “Block on pages with ads” అనేది ప్రకటనలు చూపుతున్నట్లు Cloudflare గుర్తించిన పేజీల్లో Agent వర్గానికి వర్తిస్తుంది. ఇది సైట్ మొత్తం ఏజెంట్ నిషేధాన్ని సూచించదు. ఆ ముందస్తు అమరికలో Searchకు అనుమతి కొనసాగుతుంది. Training సెట్టింగ్ వేరు: సెప్టెంబర్‌లోని Disallow AI Training అనేది Bot Preference Sync ద్వారా శిక్షణకు వాడొద్దనే ప్రాధాన్యాన్ని ప్రకటించి, Cloudflare Accountable అని పిలిచే మిశ్రమ వినియోగ క్రాలర్లు మినహా శిక్షణ క్రాలర్లను బ్లాక్ చేస్తుంది. ఆ Accountable క్రాలర్లు శిక్షణ ప్రాధాన్యాన్ని గౌరవిస్తూనే సెర్చ్ క్రాలింగ్ కొనసాగించవచ్చు. శిక్షణకే పరిమితమైన క్రాలర్లను ఈ సెట్టింగ్ విడిగా కవర్ చేస్తుందని, కాబట్టి వాటిని బ్లాక్ చేయడానికి సెర్చ్‌ను మూసేయాల్సిన అవసరం లేదని Cloudflare చెబుతోంది.

సెప్టెంబర్ అమరిక జూలై డాక్యుమెంటేషన్లోని విధానాన్ని మరింత నిర్దిష్టం చేస్తుంది; ఆ పత్రం ఇప్పటికీ ప్రకటన పేజీల్లో Training, Agent రెండింటినీ బ్లాక్ చేసే భవిష్యత్ డిఫాల్ట్‌ను వివరిస్తుంది. తర్వాతి విడుదల ప్రకటన, Cloudflare సెప్టెంబర్ వివరణాత్మక మైగ్రేషన్, సిఫార్సు పట్టికలు కొత్త ప్రకటన-ఆధారిత డొమైన్‌కు Disallow AI Trainingను సూచించి, ప్రకటన పేజీ బ్లాక్‌ను Agentకు వర్తింపజేస్తాయి. పాత వివరణను ప్రస్తుత వినియోగదారులందరికీ వర్తించే సార్వత్రిక విధానంగా చదవకూడదు.

సెర్చ్, శిక్షణ రెండింటికీ వాడే క్రాలర్‌పై “Disallow”, “Block” ప్రభావాలు కూడా వేరు. తన నెట్‌వర్క్‌లో ధ్రువీకరించిన క్రాలర్ ట్రాఫిక్‌లో 36.6% మిశ్రమ వినియోగ క్రాలర్లదని Cloudflare చెబుతోంది; అయితే ఇక్కడ వ్యక్తిగత సైట్‌లకు పోల్చదగిన సంఖ్య ఇవ్వలేదు. పూర్తి Training బ్లాక్‌లో ఇప్పుడు Googlebot, Bingbot, Applebot వంటి మిశ్రమ వినియోగ క్రాలర్లు ఉంటాయి; వాటి సెర్చ్ యాక్సెస్ కూడా పోవచ్చు. శిక్షణ పరిమితిని ప్రకటిస్తూనే Accountable మిశ్రమ వినియోగ క్రాలర్ల సెర్చ్ యాక్సెస్‌ను నిలపడం Disallow AI Training ఉద్దేశం. ప్రస్తుత పరిమితినీ Cloudflare పేర్కొంటుంది: Microsoft, Bingbot కోసం robots.txt ఫైల్‌లో శిక్షణ వద్దనే ప్రాధాన్యానికి మద్దతును ఇంకా విడుదల చేయలేదు. అందువల్ల ఇప్పుడు Disallow AI Training ఎంచుకోవడం ఆ ప్రాధాన్యాన్ని Bingకు ఆటోమేటిక్‌గా తెలియజేయదు.

సైట్ యజమాని ఏం తనిఖీ చేయవచ్చు

Cloudflare డ్యాష్‌బోర్డ్‌లో డొమైన్‌కు చెందిన Security Settings → Configure AI bot policies (భద్రతా సెట్టింగ్‌లు → AI బాట్ విధానాలను అమర్చండి) విభాగాన్ని తెరిచి ప్రస్తుత Search, Training, Agent ఎంపికలను పరిశీలించండి. Cloudflare కాన్ఫిగరేషన్ డాక్యుమెంటేషన్ Allow, Block, Block on pages with adsను వివరిస్తుంది; సెప్టెంబర్ వివరణ అదనపు Disallow AI Training ఎంపికను, పాత సెట్టింగ్‌ల మైగ్రేషన్‌ను వివరిస్తుంది. సైట్ ప్రకటన వీక్షణలపై ఆధారపడితే, డొమైన్ ప్రకటన-ఆధారిత ముందస్తు అమరికను వాడుతోందా, Agent గుర్తించిన ప్రకటన పేజీలకే పరిమితమా అని తనిఖీ చేయండి. సాధారణ సెర్చ్ యాక్సెస్‌ను నిలపడం ముఖ్యమైతే, మిశ్రమ వినియోగ క్రాలర్లకు Block ఎంచుకునే ముందు Training ఎంపికను పరిశీలించండి.

ఇవి Cloudflare పత్రాల్లోని నియంత్రణలు, విడుదల నియమాలు. BIG CHANGE ఒక Cloudflare ఖాతాను మార్చలేదు; పనిచేస్తున్న సైట్‌లో బాట్ ట్రాఫిక్‌ను కొలవలేదు.

పెద్ద మార్పు

ఆటోమేటెడ్ యాక్సెస్‌లోని మూడు ఉపయోగాలను డొమైన్ స్థాయి విధానాలుగా Cloudflare వేరు చేసింది. కొత్త ప్రకటన-ఆధారిత డొమైన్‌లకు సెప్టెంబర్ సిఫార్సు సెర్చ్‌ను తెరిచి ఉంచి, శిక్షణకు వాడొద్దనే ప్రాధాన్యాన్ని ప్రకటించి, గుర్తించిన ప్రకటన పేజీల్లో వర్గీకరించిన ఏజెంట్లను బ్లాక్ చేస్తుంది. ప్రస్తుత యజమానులు యాక్సెస్‌పై నిర్ణయానికి వచ్చే ముందు తమ మైగ్రేట్ చేసిన సెట్టింగ్‌లను చదవాలి.

మూలాలు, మరింత చదవడానికి