Markdown संस्करण

AI-translated from English; not yet reviewed by a fluent editor.

# Cloudflare के AI बॉट डिफ़ॉल्ट आपकी साइट के विज्ञापनों और मौजूदा सेटिंग पर निर्भर हैं

> Cloudflare नए विज्ञापन-आधारित डोमेन को प्रशिक्षण से इनकार की सेटिंग और विज्ञापन वाले पन्नों पर एजेंट ब्लॉक करने का विकल्प देता है। पुराने डोमेन माइग्रेट हुई पसंद का पालन करते हैं; मालिक तीनों नियंत्रण जाँच सकते हैं।

By BIG CHANGE Editorial

Published: 2026-10-18T21:03:34.849Z
Updated: 2026-10-18T21:03:34.849Z
Canonical: https://bigchange.ai/blog/cloudflare-ai-search-training-agent-access-controls

![Conceptual charcoal illustration of an empty chair facing a wall-mounted display of a generic webpage with a prominent orange advertising area.](https://bigchange.ai/api/media/file/cloudflare-ad-page-concept-v2.png)
AI-generated conceptual illustration by BIG CHANGE; no real website, Cloudflare setting, crawler access or test result is depicted.

Cloudflare अब वेबसाइट मालिकों को सर्च क्रॉलर, मॉडल प्रशिक्षण क्रॉलर और AI एजेंट के लिए अलग नियंत्रण देता है। इसके [15 सितंबर के लॉन्च](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) में नए डोमेन के लिए दो अलग शुरुआती कॉन्फ़िगरेशन हैं। विज्ञापनों से कमाने वाली साइट को Search: Allow, Training: Disallow AI Training और Agent: Block on pages with ads सुझाए जाते हैं। विज्ञापनों से कमाई न करने वाली साइट को तीनों के लिए Allow सुझाया जाता है। मालिक शुरुआती सेटअप या बाद में इन सिफ़ारिशों को बदल सकते हैं।

मौजूदा Cloudflare डोमेन अपनी पिछली पसंद का पालन करते हैं। जिस साइट ने पुराना “Block AI Bots” स्विच बंद रखा था, वह Search, Training और Agent तीनों में Allow पर जाती है। जिसने दो पुराने ब्लॉकिंग विकल्पों में कोई चुना था, वह Search: Allow, Training: Disallow AI Training और Agent: Block on pages with ads पर जाती है। तीनों नियंत्रण पहले ही कॉन्फ़िगर कर चुके डोमेन Cloudflare की [माइग्रेशन तालिका](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) के अनुसार उन पसंदों का व्यावहारिक असर बनाए रखते हैं। Free सहित हर प्लान पर ये नियंत्रण उपलब्ध हैं; प्लान की पात्रता से मालिक को यह नहीं पता चलता कि उसके डोमेन पर अभी कौन-सी नीति है।

## तीनों श्रेणियों में क्या शामिल है

Cloudflare के [जुलाई के बदलाव लॉग](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) में **Search (खोज)** का अर्थ ऐसा क्रॉलिंग है जो बाद के सवालों के जवाब के लिए सामग्री को इंडेक्स करता है। **Agent (एजेंट)** किसी व्यक्ति की ओर से रियल-टाइम गतिविधि को शामिल करता है, जैसे चैट के लिए सामग्री लाने वाले बॉट और ब्राउज़र इस्तेमाल करने वाले एजेंट। **Training (प्रशिक्षण)** में मॉडल प्रशिक्षण या फ़ाइन-ट्यूनिंग के लिए संग्रह शामिल है। किसी क्रॉलर के एक से अधिक उद्देश्य हो सकते हैं। Cloudflare के अनुसार हर ब्लॉकिंग विकल्प उस वर्ग के सत्यापित बॉट और उसी तरह वर्गीकृत अतिरिक्त असत्यापित बॉट को शामिल करता है। यह वर्गीकरण पर आधारित नियंत्रण है, ऐसा दावा नहीं कि हर ऑटोमेटेड ब्राउज़र या अज्ञात अनुरोध पकड़ा जाएगा।

विज्ञापन-आधारित सिफ़ारिश इस्तेमाल करने वाले डोमेन में “Block on pages with ads” उन पन्नों पर Agent श्रेणी पर लागू होता है जहाँ Cloudflare विज्ञापन दिखते हुए पहचानता है। यह पूरी साइट पर एजेंट प्रतिबंध नहीं है। उस प्रीसेट में Search की अनुमति बनी रहती है। Training की सेटिंग अलग है: सितंबर का **Disallow AI Training** Bot Preference Sync के ज़रिए प्रशिक्षण में इस्तेमाल न करने की पसंद प्रकाशित करता है और प्रशिक्षण क्रॉलर ब्लॉक करता है, सिवाय उन मिश्रित-उपयोग क्रॉलर के जिन्हें Cloudflare Accountable कहता है। ये Accountable क्रॉलर प्रशिक्षण संबंधी पसंद का सम्मान करते हुए सर्च क्रॉलिंग जारी रख सकते हैं। Cloudflare कहता है कि सेटिंग केवल प्रशिक्षण वाले क्रॉलर को अलग संभालती है, इसलिए उन्हें ब्लॉक करने के लिए सर्च बंद करना ज़रूरी नहीं।

सितंबर की यह व्यवस्था [जुलाई के दस्तावेज़](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) की बात को अधिक स्पष्ट करती है; वह अब भी ऐसे भावी डिफ़ॉल्ट का वर्णन करता है जो विज्ञापन वाले पन्नों पर Training और Agent दोनों को ब्लॉक करता है। बाद की [लॉन्च घोषणा](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) और Cloudflare की सितंबर की विस्तृत माइग्रेशन तथा सिफ़ारिश तालिकाएँ नए विज्ञापन-आधारित डोमेन के लिए Disallow AI Training बताती हैं, जबकि विज्ञापन-पन्ना ब्लॉक Agent पर लागू होता है। पुराने विवरण को मौजूदा सभी ग्राहकों की सार्वभौमिक नीति नहीं समझना चाहिए।

खोज और प्रशिक्षण दोनों के लिए इस्तेमाल होने वाले क्रॉलर पर “Disallow” और “Block” का असर भी अलग है। Cloudflare के अनुसार उसके नेटवर्क के सत्यापित क्रॉलर ट्रैफ़िक का 36.6% मिश्रित-उपयोग क्रॉलर से आता है, हालाँकि यहाँ अलग-अलग साइट के लिए तुलनीय आँकड़ा नहीं दिया गया है। पूरा Training ब्लॉक अब Googlebot, Bingbot और Applebot जैसे मिश्रित-उपयोग क्रॉलर को शामिल करता है, जिससे उनकी सर्च पहुँच भी हट सकती है। Disallow AI Training का उद्देश्य प्रशिक्षण पाबंदी व्यक्त करते हुए Accountable मिश्रित-उपयोग क्रॉलर की सर्च पहुँच बनाए रखना है। Cloudflare एक मौजूदा सीमा बताता है: Microsoft ने Bingbot के लिए `robots.txt` में प्रशिक्षण न करने की पसंद का समर्थन अभी जारी नहीं किया है। इसलिए आज Disallow AI Training चुनने से यह पसंद Bing तक अपने आप नहीं पहुँचती।

## साइट मालिक क्या जाँच सकता है

Cloudflare डैशबोर्ड में डोमेन का **Security Settings → Configure AI bot policies (सुरक्षा सेटिंग → AI बॉट नीतियाँ कॉन्फ़िगर करें)** खोलें और मौजूदा Search, Training तथा Agent चयन देखें। Cloudflare का [कॉन्फ़िगरेशन दस्तावेज़](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) Allow, Block और Block on pages with ads समझाता है; सितंबर का विवरण अतिरिक्त Disallow AI Training विकल्प और पुरानी सेटिंग का माइग्रेशन बताता है। अगर साइट विज्ञापन इम्प्रेशन पर निर्भर है, तो जाँचें कि डोमेन विज्ञापन-आधारित प्रीसेट इस्तेमाल कर रहा है या नहीं और Agent केवल विज्ञापन पहचाने गए पन्नों तक सीमित है या नहीं। सामान्य सर्च पहुँच बचाना महत्त्वपूर्ण हो, तो मिश्रित-उपयोग क्रॉलर के लिए Block चुनने से पहले Training चयन जाँचें।

ये Cloudflare के दस्तावेज़ों में दिए नियंत्रण और लॉन्च नियम हैं। BIG CHANGE ने Cloudflare खाता नहीं बदला या किसी सक्रिय साइट पर बॉट ट्रैफ़िक नहीं मापा।

## बड़ा बदलाव

Cloudflare ने ऑटोमेटेड पहुँच के तीन उपयोगों को डोमेन-स्तरीय नीतियों में अलग किया है। नए विज्ञापन-आधारित डोमेन के लिए सितंबर की सिफ़ारिश सर्च खुला रखती है, प्रशिक्षण में इस्तेमाल न करने की पसंद व्यक्त करती है और विज्ञापन पहचाने गए पन्नों पर वर्गीकृत एजेंट ब्लॉक करती है। मौजूदा मालिकों को पहुँच के बारे में निष्कर्ष निकालने से पहले अपनी माइग्रेट हुई सेटिंग पढ़नी चाहिए।

## स्रोत और आगे पढ़ने के लिए

- [Cloudflare, “दोनों साथ: AI प्रशिक्षण से इनकार करते हुए सर्च में दिखते रहें”](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) (15 सितंबर 2026)। लॉन्च का विस्तृत स्रोत: सिफ़ारिश और माइग्रेशन तालिकाएँ, मिश्रित-उपयोग क्रॉलर का व्यवहार और Bing की सीमा।
- [Cloudflare, “सर्च या AI प्रशिक्षण के बीच समझौता खत्म करने में Cloudflare की मदद”](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) (15 सितंबर 2026)। लॉन्च घोषणा नए विज्ञापन-आधारित और अन्य नए साइटों को अलग करती है।
- [Cloudflare Developers, “AI ट्रैफ़िक संभालने के नए विकल्प”](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) (1 जुलाई 2026)। तीन श्रेणियों का मूल लॉन्च और डिफ़ॉल्ट का पहले का विवरण।
- [Cloudflare Docs, “Block AI Bots”](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) (पन्ने पर आखिरी अपडेट 1 जुलाई 2026 बताया गया है)। परिभाषाएँ, वर्गीकृत सत्यापित और असत्यापित बॉट तथा डैशबोर्ड का स्थान; लॉन्च से पहले का डिफ़ॉल्ट विवरण सितंबर की विस्तृत नीति से अलग है।

## Sources

- [Cloudflare, Block AI Bots (आखिरी अपडेट 2026-07-01)](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) — 1 जुलाई की तारीख वाला प्राथमिक कॉन्फ़िगरेशन दस्तावेज़: श्रेणी परिभाषाएँ, सत्यापित और असत्यापित वर्गीकरण, विज्ञापन-पन्ना पहचान तथा डैशबोर्ड का रास्ता। भावी डिफ़ॉल्ट का विवरण सितंबर लॉन्च से पहले का है और उसकी जगह बाद का विस्तृत विवरण लागू होता है।
- [Cloudflare, AI ट्रैफ़िक नियंत्रण घोषणा (2026-09-15)](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) — प्राथमिक लॉन्च घोषणा: नए विज्ञापन-आधारित साइटों में Search अनुमत, Training अस्वीकृत और विज्ञापन वाले पन्नों पर Agent ब्लॉक होता है; अन्य नए साइट तीनों की अनुमति देते हैं।
- [Cloudflare Developers, AI ट्रैफ़िक संभालने के नए विकल्प (2026-07-01)](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) — तीन श्रेणियों का मूल लॉन्च और प्रस्तावित सितंबर डिफ़ॉल्ट; इसे अंतिम लॉन्च नियम मानने के बजाय घटनाक्रम के लिए रखा गया है।
- [Cloudflare, दोनों साथ: AI प्रशिक्षण से इनकार करते हुए सर्च में दिखते रहें (2026-09-15)](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — लॉन्च का निर्णायक विस्तृत रिकॉर्ड: नए डोमेन की सिफ़ारिशें, मौजूदा डोमेन माइग्रेशन, मिश्रित-उपयोग क्रॉलर के लिए Disallow बनाम Block और Bingbot की सीमा।