Markdown आवृत्ती

AI-translated from English; not yet reviewed by a fluent editor.

# Cloudflare चे AI बॉटचे डीफॉल्ट पर्याय तुमच्या साइटवरील जाहिराती आणि आधीच्या सेटिंगवर अवलंबून आहेत

> Cloudflare जाहिरातींवर चालणाऱ्या नव्या डोमेनना प्रशिक्षणासाठी वापर नको अशी सेटिंग आणि जाहिरात पानांवर एजंट ब्लॉक करण्याचा पर्याय देते. जुने डोमेन स्थलांतरित निवडींनुसार चालतात; मालक तिन्ही नियंत्रणे तपासू शकतात.

By BIG CHANGE Editorial

Published: 2026-10-18T21:03:34.849Z
Updated: 2026-10-18T21:03:34.849Z
Canonical: https://bigchange.ai/blog/cloudflare-ai-search-training-agent-access-controls

![Conceptual charcoal illustration of an empty chair facing a wall-mounted display of a generic webpage with a prominent orange advertising area.](https://bigchange.ai/api/media/file/cloudflare-ad-page-concept-v2.png)
AI-generated conceptual illustration by BIG CHANGE; no real website, Cloudflare setting, crawler access or test result is depicted.

Cloudflare आता वेबसाइट मालकांना सर्च क्रॉलर, मॉडेल प्रशिक्षण क्रॉलर आणि AI एजंटसाठी स्वतंत्र नियंत्रणे देते. तिच्या [15 सप्टेंबरच्या सादरीकरणात](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) नव्या डोमेनसाठी दोन वेगळ्या सुरुवातीच्या मांडण्या दिल्या आहेत. जाहिरातींमधून उत्पन्न मिळवणाऱ्या साइटला Search: Allow, Training: Disallow AI Training आणि Agent: Block on pages with ads हे पर्याय सुचवले जातात. जाहिरातींमधून उत्पन्न न मिळवणाऱ्या साइटला तिन्हीसाठी Allow सुचवले जाते. मालक सुरुवातीच्या नोंदणीदरम्यान किंवा नंतर या शिफारसी बदलू शकतात.

आधीचे Cloudflare डोमेन त्यांच्या पूर्वीच्या निवडींनुसार चालतात. जुना “Block AI Bots” स्विच बंद ठेवलेल्या साइटसाठी Search, Training आणि Agent हे तिन्ही Allow वर स्थलांतरित होतात. जुन्या दोन ब्लॉकिंग पर्यायांपैकी कोणताही निवडलेल्या साइटसाठी Search: Allow, Training: Disallow AI Training आणि Agent: Block on pages with ads अशी मांडणी होते. तिन्ही नियंत्रणे आधीच सेट केलेले डोमेन Cloudflare च्या [स्थलांतर तक्त्यानुसार](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) त्या निवडींचा व्यावहारिक परिणाम कायम ठेवतात. Free सहित प्रत्येक प्लॅनवर ही नियंत्रणे उपलब्ध आहेत; प्लॅनवर पात्रता असणे म्हणजे डोमेनवर सध्या कोणते धोरण आहे हे मालकाला कळते असे नाही.

## तीन प्रकारांमध्ये काय येते

Cloudflare च्या [जुलैच्या बदल नोंदीत](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) दिलेल्या व्याख्येनुसार, **Search (शोध)** म्हणजे पुढील प्रश्नांना उत्तरे देण्यासाठी आशयाची अनुक्रमणिका तयार करणारे क्रॉलिंग असे म्हटले आहे. **Agent (एजंट)** मध्ये व्यक्तीच्या वतीने तात्काळ केलेले काम येते, त्यात चॅटसाठी आशय आणणारे बॉट आणि ब्राउझर वापरणारे एजंट समाविष्ट आहेत. **Training (प्रशिक्षण)** मध्ये मॉडेल प्रशिक्षण किंवा सूक्ष्म समायोजनासाठी केलेले संकलन येते. एका क्रॉलरचे एकापेक्षा अधिक उद्देश असू शकतात. Cloudflare नुसार प्रत्येक ब्लॉकिंग पर्याय त्या वर्गातील सत्यापित बॉट आणि त्याच पद्धतीने वर्गीकृत केलेले अतिरिक्त असत्यापित बॉट समाविष्ट करतो. हे वर्गीकरणावर आधारित नियंत्रण आहे; प्रत्येक स्वयंचलित ब्राउझर किंवा ओळख न पटलेली विनंती पकडली जाईल असा दावा नाही.

जाहिरातींवर चालणाऱ्या साइटसाठीची शिफारस वापरणाऱ्या डोमेनवर “Block on pages with ads” हा पर्याय Cloudflare ला जाहिराती दाखवताना आढळलेल्या पानांवरील Agent प्रकाराला लागू होतो. याचा अर्थ संपूर्ण साइटवर एजंटना बंदी असा नाही. त्या पूर्वनियोजित संचात Search सुरूच राहतो. Training ची सेटिंग वेगळी आहे: सप्टेंबरमधील **Disallow AI Training** हा पर्याय Bot Preference Sync द्वारे प्रशिक्षणासाठी वापर नको ही पसंती जाहीर करतो आणि Cloudflare ज्यांना Accountable म्हणते ते मिश्र-वापर क्रॉलर वगळता प्रशिक्षण क्रॉलर ब्लॉक करतो. ते Accountable क्रॉलर प्रशिक्षणाची पसंती पाळत शोधासाठी क्रॉलिंग सुरू ठेवू शकतात. Cloudflare नुसार ही सेटिंग फक्त प्रशिक्षणासाठी असलेले क्रॉलर स्वतंत्रपणे हाताळते, त्यामुळे त्यांना ब्लॉक करण्यासाठी शोध बंद करावा लागेलच असे नाही.

सप्टेंबरमधील ही मांडणी [जुलैच्या दस्तऐवजातील](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) माहिती अधिक नेमकी करते; त्या दस्तऐवजात अजूनही जाहिरात पानांवर Training आणि Agent दोन्ही ब्लॉक करणाऱ्या भावी डीफॉल्टचे वर्णन आहे. नंतरची [प्रकाशन घोषणा](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) आणि Cloudflare चे सप्टेंबरचे सविस्तर स्थलांतर व शिफारस तक्ते नव्या जाहिरात-आधारित डोमेनसाठी Disallow AI Training सांगतात, तर जाहिरात पानांवरील ब्लॉक Agent ला लागू करतात. जुने वर्णन आधीच्या सर्व ग्राहकांसाठी सार्वत्रिक धोरण म्हणून वाचू नये.

शोध आणि प्रशिक्षण या दोन्हीसाठी वापरल्या जाणाऱ्या क्रॉलरवर “Disallow” आणि “Block” यांचे परिणामही वेगळे असतात. Cloudflare नुसार तिच्या नेटवर्कवरील सत्यापित क्रॉलर ट्रॅफिकपैकी 36.6% मिश्र-वापर क्रॉलरचे आहे; मात्र येथे स्वतंत्र साइटसाठी तुलनात्मक आकडा दिलेला नाही. पूर्ण Training ब्लॉकमध्ये आता Googlebot, Bingbot आणि Applebot सारखे मिश्र-वापर क्रॉलरही येतात, ज्यामुळे त्यांचा शोधासाठीचा प्रवेशही बंद होऊ शकतो. Disallow AI Training चा उद्देश प्रशिक्षणावरील निर्बंध व्यक्त करत Accountable मिश्र-वापर क्रॉलरचा शोधप्रवेश टिकवणे हा आहे. Cloudflare सध्याची मर्यादाही सांगते: Microsoft ने Bingbot साठी `robots.txt` मध्ये प्रशिक्षण नको या पसंतीचे समर्थन अद्याप उपलब्ध केलेले नाही, त्यामुळे आज Disallow AI Training निवडल्याने ती पसंती आपोआप Bing पर्यंत पोहोचत नाही.

## साइट मालक काय तपासू शकतो

Cloudflare डॅशबोर्डमध्ये डोमेनचे **Security Settings → Configure AI bot policies (सुरक्षा सेटिंग → AI बॉट धोरणे सेट करा)** उघडा आणि सध्याच्या Search, Training व Agent निवडी पाहा. Cloudflare चे [सेटिंगसंबंधी दस्तऐवज](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) Allow, Block आणि Block on pages with ads यांचे वर्णन करतात; सप्टेंबरचा वृत्तांत अतिरिक्त Disallow AI Training पर्याय आणि जुन्या सेटिंगचे स्थलांतर स्पष्ट करतो. साइट जाहिरातींच्या दर्शनांवर अवलंबून असल्यास, डोमेन जाहिरात-आधारित पूर्वनियोजित संच वापरतो का आणि Agent फक्त जाहिराती आढळलेल्या पानांपुरता मर्यादित आहे का हे तपासा. सामान्य शोधप्रवेश टिकवणे महत्त्वाचे असल्यास, मिश्र-वापर क्रॉलरसाठी Block निवडण्याआधी Training निवड तपासा.

ही Cloudflare ने दस्तऐवजीकृत केलेली नियंत्रणे आणि अंमलबजावणीचे नियम आहेत. BIG CHANGE ने Cloudflare खाते बदललेले नाही किंवा कार्यरत साइटवरील बॉट ट्रॅफिक मोजलेला नाही.

## मोठा बदल

Cloudflare ने स्वयंचलित प्रवेशाच्या तीन उपयोगांना डोमेन-पातळीवरील धोरणांत वेगळे केले आहे. नव्या जाहिरात-आधारित डोमेनसाठी सप्टेंबरची शिफारस शोध सुरू ठेवते, प्रशिक्षणासाठी वापर नको ही पसंती व्यक्त करते आणि जाहिराती आढळलेल्या पानांवर वर्गीकृत एजंट ब्लॉक करते. आधीच्या मालकांनी प्रवेशाबाबत निष्कर्ष काढण्याआधी स्वतःच्या स्थलांतरित सेटिंग वाचाव्यात.

## स्रोत आणि पुढील वाचन

- [Cloudflare, “दोन्ही साधा: AI प्रशिक्षण नाकारतानाही शोधात दिसत राहा”](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) (15 सप्टेंबर 2026). अंमलबजावणीचा सविस्तर स्रोत: शिफारस व स्थलांतर तक्ते, मिश्र-वापर क्रॉलरचे वर्तन आणि Bing ची मर्यादा.
- [Cloudflare, “शोध किंवा AI प्रशिक्षण यांतील तडजोड संपवण्यास Cloudflare ची मदत”](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) (15 सप्टेंबर 2026). घोषणा जाहिरात-आधारित आणि इतर नव्या साइटमधील फरक दाखवते.
- [Cloudflare Developers, “AI ट्रॅफिक व्यवस्थापनासाठी नवे पर्याय”](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) (1 जुलै 2026). तीन प्रकारांचे मूळ सादरीकरण आणि डीफॉल्टचे आधीचे वर्णन.
- [Cloudflare Docs, “Block AI Bots”](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) (पानावर शेवटचे अद्यतन 1 जुलै 2026 असे नमूद). व्याख्या, वर्गीकृत सत्यापित व असत्यापित बॉट आणि डॅशबोर्डमधील स्थान; अंमलबजावणीपूर्व डीफॉल्टचे शब्दांकन सप्टेंबरच्या तपशीलवार धोरणापेक्षा वेगळे आहे.

## Sources

- [Cloudflare, Block AI Bots (शेवटचे अद्यतन 2026-07-01)](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) — 1 जुलै दिनांकाचे प्राथमिक सेटिंग दस्तऐवज: प्रकारांच्या व्याख्या, सत्यापित व असत्यापित वर्गीकरण, जाहिरात पानांची ओळख आणि डॅशबोर्डमधील मार्ग. भावी डीफॉल्टचे शब्दांकन सप्टेंबरच्या अंमलबजावणीपूर्वीचे असून त्याची जागा नंतरच्या सविस्तर वृत्तांताने घेतली आहे.
- [Cloudflare, AI ट्रॅफिक नियंत्रणांची घोषणा (2026-09-15)](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) — प्राथमिक प्रकाशन घोषणा: नव्या जाहिरात-आधारित साइटना Search अनुमत, Training नाकारलेले आणि जाहिरात पानांवर Agent ब्लॉक अशी मांडणी मिळते; इतर नव्या साइट तिन्ही अनुमत ठेवतात.
- [Cloudflare Developers, AI ट्रॅफिक व्यवस्थापनासाठी नवे पर्याय (2026-07-01)](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) — तीन प्रकारांचे मूळ सादरीकरण आणि नियोजित सप्टेंबर डीफॉल्ट; अंतिम अंमलबजावणी नियम मानण्याऐवजी कालक्रमासाठी जतन केलेला स्रोत.
- [Cloudflare, दोन्ही साधा: AI प्रशिक्षण नाकारतानाही शोधात दिसत राहा (2026-09-15)](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — अंमलबजावणी समजण्यासाठी निर्णायक सविस्तर नोंद: नव्या डोमेनसाठी शिफारसी, आधीच्या डोमेनचे स्थलांतर, मिश्र-वापर क्रॉलरसाठी Disallow विरुद्ध Block आणि Bingbot ची मर्यादा.