Cloudflare अब वेबसाइट मालिकों को सर्च क्रॉलर, मॉडल प्रशिक्षण क्रॉलर और AI एजेंट के लिए अलग नियंत्रण देता है। इसके 15 सितंबर के लॉन्च में नए डोमेन के लिए दो अलग शुरुआती कॉन्फ़िगरेशन हैं। विज्ञापनों से कमाने वाली साइट को Search: Allow, Training: Disallow AI Training और Agent: Block on pages with ads सुझाए जाते हैं। विज्ञापनों से कमाई न करने वाली साइट को तीनों के लिए Allow सुझाया जाता है। मालिक शुरुआती सेटअप या बाद में इन सिफ़ारिशों को बदल सकते हैं।

मौजूदा Cloudflare डोमेन अपनी पिछली पसंद का पालन करते हैं। जिस साइट ने पुराना “Block AI Bots” स्विच बंद रखा था, वह Search, Training और Agent तीनों में Allow पर जाती है। जिसने दो पुराने ब्लॉकिंग विकल्पों में कोई चुना था, वह Search: Allow, Training: Disallow AI Training और Agent: Block on pages with ads पर जाती है। तीनों नियंत्रण पहले ही कॉन्फ़िगर कर चुके डोमेन Cloudflare की माइग्रेशन तालिका के अनुसार उन पसंदों का व्यावहारिक असर बनाए रखते हैं। Free सहित हर प्लान पर ये नियंत्रण उपलब्ध हैं; प्लान की पात्रता से मालिक को यह नहीं पता चलता कि उसके डोमेन पर अभी कौन-सी नीति है।

तीनों श्रेणियों में क्या शामिल है

Cloudflare के जुलाई के बदलाव लॉग में Search (खोज) का अर्थ ऐसा क्रॉलिंग है जो बाद के सवालों के जवाब के लिए सामग्री को इंडेक्स करता है। Agent (एजेंट) किसी व्यक्ति की ओर से रियल-टाइम गतिविधि को शामिल करता है, जैसे चैट के लिए सामग्री लाने वाले बॉट और ब्राउज़र इस्तेमाल करने वाले एजेंट। Training (प्रशिक्षण) में मॉडल प्रशिक्षण या फ़ाइन-ट्यूनिंग के लिए संग्रह शामिल है। किसी क्रॉलर के एक से अधिक उद्देश्य हो सकते हैं। Cloudflare के अनुसार हर ब्लॉकिंग विकल्प उस वर्ग के सत्यापित बॉट और उसी तरह वर्गीकृत अतिरिक्त असत्यापित बॉट को शामिल करता है। यह वर्गीकरण पर आधारित नियंत्रण है, ऐसा दावा नहीं कि हर ऑटोमेटेड ब्राउज़र या अज्ञात अनुरोध पकड़ा जाएगा।

विज्ञापन-आधारित सिफ़ारिश इस्तेमाल करने वाले डोमेन में “Block on pages with ads” उन पन्नों पर Agent श्रेणी पर लागू होता है जहाँ Cloudflare विज्ञापन दिखते हुए पहचानता है। यह पूरी साइट पर एजेंट प्रतिबंध नहीं है। उस प्रीसेट में Search की अनुमति बनी रहती है। Training की सेटिंग अलग है: सितंबर का Disallow AI Training Bot Preference Sync के ज़रिए प्रशिक्षण में इस्तेमाल न करने की पसंद प्रकाशित करता है और प्रशिक्षण क्रॉलर ब्लॉक करता है, सिवाय उन मिश्रित-उपयोग क्रॉलर के जिन्हें Cloudflare Accountable कहता है। ये Accountable क्रॉलर प्रशिक्षण संबंधी पसंद का सम्मान करते हुए सर्च क्रॉलिंग जारी रख सकते हैं। Cloudflare कहता है कि सेटिंग केवल प्रशिक्षण वाले क्रॉलर को अलग संभालती है, इसलिए उन्हें ब्लॉक करने के लिए सर्च बंद करना ज़रूरी नहीं।

सितंबर की यह व्यवस्था जुलाई के दस्तावेज़ की बात को अधिक स्पष्ट करती है; वह अब भी ऐसे भावी डिफ़ॉल्ट का वर्णन करता है जो विज्ञापन वाले पन्नों पर Training और Agent दोनों को ब्लॉक करता है। बाद की लॉन्च घोषणा और Cloudflare की सितंबर की विस्तृत माइग्रेशन तथा सिफ़ारिश तालिकाएँ नए विज्ञापन-आधारित डोमेन के लिए Disallow AI Training बताती हैं, जबकि विज्ञापन-पन्ना ब्लॉक Agent पर लागू होता है। पुराने विवरण को मौजूदा सभी ग्राहकों की सार्वभौमिक नीति नहीं समझना चाहिए।

खोज और प्रशिक्षण दोनों के लिए इस्तेमाल होने वाले क्रॉलर पर “Disallow” और “Block” का असर भी अलग है। Cloudflare के अनुसार उसके नेटवर्क के सत्यापित क्रॉलर ट्रैफ़िक का 36.6% मिश्रित-उपयोग क्रॉलर से आता है, हालाँकि यहाँ अलग-अलग साइट के लिए तुलनीय आँकड़ा नहीं दिया गया है। पूरा Training ब्लॉक अब Googlebot, Bingbot और Applebot जैसे मिश्रित-उपयोग क्रॉलर को शामिल करता है, जिससे उनकी सर्च पहुँच भी हट सकती है। Disallow AI Training का उद्देश्य प्रशिक्षण पाबंदी व्यक्त करते हुए Accountable मिश्रित-उपयोग क्रॉलर की सर्च पहुँच बनाए रखना है। Cloudflare एक मौजूदा सीमा बताता है: Microsoft ने Bingbot के लिए robots.txt में प्रशिक्षण न करने की पसंद का समर्थन अभी जारी नहीं किया है। इसलिए आज Disallow AI Training चुनने से यह पसंद Bing तक अपने आप नहीं पहुँचती।

साइट मालिक क्या जाँच सकता है

Cloudflare डैशबोर्ड में डोमेन का Security Settings → Configure AI bot policies (सुरक्षा सेटिंग → AI बॉट नीतियाँ कॉन्फ़िगर करें) खोलें और मौजूदा Search, Training तथा Agent चयन देखें। Cloudflare का कॉन्फ़िगरेशन दस्तावेज़ Allow, Block और Block on pages with ads समझाता है; सितंबर का विवरण अतिरिक्त Disallow AI Training विकल्प और पुरानी सेटिंग का माइग्रेशन बताता है। अगर साइट विज्ञापन इम्प्रेशन पर निर्भर है, तो जाँचें कि डोमेन विज्ञापन-आधारित प्रीसेट इस्तेमाल कर रहा है या नहीं और Agent केवल विज्ञापन पहचाने गए पन्नों तक सीमित है या नहीं। सामान्य सर्च पहुँच बचाना महत्त्वपूर्ण हो, तो मिश्रित-उपयोग क्रॉलर के लिए Block चुनने से पहले Training चयन जाँचें।

ये Cloudflare के दस्तावेज़ों में दिए नियंत्रण और लॉन्च नियम हैं। BIG CHANGE ने Cloudflare खाता नहीं बदला या किसी सक्रिय साइट पर बॉट ट्रैफ़िक नहीं मापा।

बड़ा बदलाव

Cloudflare ने ऑटोमेटेड पहुँच के तीन उपयोगों को डोमेन-स्तरीय नीतियों में अलग किया है। नए विज्ञापन-आधारित डोमेन के लिए सितंबर की सिफ़ारिश सर्च खुला रखती है, प्रशिक्षण में इस्तेमाल न करने की पसंद व्यक्त करती है और विज्ञापन पहचाने गए पन्नों पर वर्गीकृत एजेंट ब्लॉक करती है। मौजूदा मालिकों को पहुँच के बारे में निष्कर्ष निकालने से पहले अपनी माइग्रेट हुई सेटिंग पढ़नी चाहिए।

स्रोत और आगे पढ़ने के लिए