Cloudflare आता वेबसाइट मालकांना सर्च क्रॉलर, मॉडेल प्रशिक्षण क्रॉलर आणि AI एजंटसाठी स्वतंत्र नियंत्रणे देते. तिच्या 15 सप्टेंबरच्या सादरीकरणात नव्या डोमेनसाठी दोन वेगळ्या सुरुवातीच्या मांडण्या दिल्या आहेत. जाहिरातींमधून उत्पन्न मिळवणाऱ्या साइटला Search: Allow, Training: Disallow AI Training आणि Agent: Block on pages with ads हे पर्याय सुचवले जातात. जाहिरातींमधून उत्पन्न न मिळवणाऱ्या साइटला तिन्हीसाठी Allow सुचवले जाते. मालक सुरुवातीच्या नोंदणीदरम्यान किंवा नंतर या शिफारसी बदलू शकतात.

आधीचे Cloudflare डोमेन त्यांच्या पूर्वीच्या निवडींनुसार चालतात. जुना “Block AI Bots” स्विच बंद ठेवलेल्या साइटसाठी Search, Training आणि Agent हे तिन्ही Allow वर स्थलांतरित होतात. जुन्या दोन ब्लॉकिंग पर्यायांपैकी कोणताही निवडलेल्या साइटसाठी Search: Allow, Training: Disallow AI Training आणि Agent: Block on pages with ads अशी मांडणी होते. तिन्ही नियंत्रणे आधीच सेट केलेले डोमेन Cloudflare च्या स्थलांतर तक्त्यानुसार त्या निवडींचा व्यावहारिक परिणाम कायम ठेवतात. Free सहित प्रत्येक प्लॅनवर ही नियंत्रणे उपलब्ध आहेत; प्लॅनवर पात्रता असणे म्हणजे डोमेनवर सध्या कोणते धोरण आहे हे मालकाला कळते असे नाही.

तीन प्रकारांमध्ये काय येते

Cloudflare च्या जुलैच्या बदल नोंदीत दिलेल्या व्याख्येनुसार, Search (शोध) म्हणजे पुढील प्रश्नांना उत्तरे देण्यासाठी आशयाची अनुक्रमणिका तयार करणारे क्रॉलिंग असे म्हटले आहे. Agent (एजंट) मध्ये व्यक्तीच्या वतीने तात्काळ केलेले काम येते, त्यात चॅटसाठी आशय आणणारे बॉट आणि ब्राउझर वापरणारे एजंट समाविष्ट आहेत. Training (प्रशिक्षण) मध्ये मॉडेल प्रशिक्षण किंवा सूक्ष्म समायोजनासाठी केलेले संकलन येते. एका क्रॉलरचे एकापेक्षा अधिक उद्देश असू शकतात. Cloudflare नुसार प्रत्येक ब्लॉकिंग पर्याय त्या वर्गातील सत्यापित बॉट आणि त्याच पद्धतीने वर्गीकृत केलेले अतिरिक्त असत्यापित बॉट समाविष्ट करतो. हे वर्गीकरणावर आधारित नियंत्रण आहे; प्रत्येक स्वयंचलित ब्राउझर किंवा ओळख न पटलेली विनंती पकडली जाईल असा दावा नाही.

जाहिरातींवर चालणाऱ्या साइटसाठीची शिफारस वापरणाऱ्या डोमेनवर “Block on pages with ads” हा पर्याय Cloudflare ला जाहिराती दाखवताना आढळलेल्या पानांवरील Agent प्रकाराला लागू होतो. याचा अर्थ संपूर्ण साइटवर एजंटना बंदी असा नाही. त्या पूर्वनियोजित संचात Search सुरूच राहतो. Training ची सेटिंग वेगळी आहे: सप्टेंबरमधील Disallow AI Training हा पर्याय Bot Preference Sync द्वारे प्रशिक्षणासाठी वापर नको ही पसंती जाहीर करतो आणि Cloudflare ज्यांना Accountable म्हणते ते मिश्र-वापर क्रॉलर वगळता प्रशिक्षण क्रॉलर ब्लॉक करतो. ते Accountable क्रॉलर प्रशिक्षणाची पसंती पाळत शोधासाठी क्रॉलिंग सुरू ठेवू शकतात. Cloudflare नुसार ही सेटिंग फक्त प्रशिक्षणासाठी असलेले क्रॉलर स्वतंत्रपणे हाताळते, त्यामुळे त्यांना ब्लॉक करण्यासाठी शोध बंद करावा लागेलच असे नाही.

सप्टेंबरमधील ही मांडणी जुलैच्या दस्तऐवजातील माहिती अधिक नेमकी करते; त्या दस्तऐवजात अजूनही जाहिरात पानांवर Training आणि Agent दोन्ही ब्लॉक करणाऱ्या भावी डीफॉल्टचे वर्णन आहे. नंतरची प्रकाशन घोषणा आणि Cloudflare चे सप्टेंबरचे सविस्तर स्थलांतर व शिफारस तक्ते नव्या जाहिरात-आधारित डोमेनसाठी Disallow AI Training सांगतात, तर जाहिरात पानांवरील ब्लॉक Agent ला लागू करतात. जुने वर्णन आधीच्या सर्व ग्राहकांसाठी सार्वत्रिक धोरण म्हणून वाचू नये.

शोध आणि प्रशिक्षण या दोन्हीसाठी वापरल्या जाणाऱ्या क्रॉलरवर “Disallow” आणि “Block” यांचे परिणामही वेगळे असतात. Cloudflare नुसार तिच्या नेटवर्कवरील सत्यापित क्रॉलर ट्रॅफिकपैकी 36.6% मिश्र-वापर क्रॉलरचे आहे; मात्र येथे स्वतंत्र साइटसाठी तुलनात्मक आकडा दिलेला नाही. पूर्ण Training ब्लॉकमध्ये आता Googlebot, Bingbot आणि Applebot सारखे मिश्र-वापर क्रॉलरही येतात, ज्यामुळे त्यांचा शोधासाठीचा प्रवेशही बंद होऊ शकतो. Disallow AI Training चा उद्देश प्रशिक्षणावरील निर्बंध व्यक्त करत Accountable मिश्र-वापर क्रॉलरचा शोधप्रवेश टिकवणे हा आहे. Cloudflare सध्याची मर्यादाही सांगते: Microsoft ने Bingbot साठी robots.txt मध्ये प्रशिक्षण नको या पसंतीचे समर्थन अद्याप उपलब्ध केलेले नाही, त्यामुळे आज Disallow AI Training निवडल्याने ती पसंती आपोआप Bing पर्यंत पोहोचत नाही.

साइट मालक काय तपासू शकतो

Cloudflare डॅशबोर्डमध्ये डोमेनचे Security Settings → Configure AI bot policies (सुरक्षा सेटिंग → AI बॉट धोरणे सेट करा) उघडा आणि सध्याच्या Search, Training व Agent निवडी पाहा. Cloudflare चे सेटिंगसंबंधी दस्तऐवज Allow, Block आणि Block on pages with ads यांचे वर्णन करतात; सप्टेंबरचा वृत्तांत अतिरिक्त Disallow AI Training पर्याय आणि जुन्या सेटिंगचे स्थलांतर स्पष्ट करतो. साइट जाहिरातींच्या दर्शनांवर अवलंबून असल्यास, डोमेन जाहिरात-आधारित पूर्वनियोजित संच वापरतो का आणि Agent फक्त जाहिराती आढळलेल्या पानांपुरता मर्यादित आहे का हे तपासा. सामान्य शोधप्रवेश टिकवणे महत्त्वाचे असल्यास, मिश्र-वापर क्रॉलरसाठी Block निवडण्याआधी Training निवड तपासा.

ही Cloudflare ने दस्तऐवजीकृत केलेली नियंत्रणे आणि अंमलबजावणीचे नियम आहेत. BIG CHANGE ने Cloudflare खाते बदललेले नाही किंवा कार्यरत साइटवरील बॉट ट्रॅफिक मोजलेला नाही.

मोठा बदल

Cloudflare ने स्वयंचलित प्रवेशाच्या तीन उपयोगांना डोमेन-पातळीवरील धोरणांत वेगळे केले आहे. नव्या जाहिरात-आधारित डोमेनसाठी सप्टेंबरची शिफारस शोध सुरू ठेवते, प्रशिक्षणासाठी वापर नको ही पसंती व्यक्त करते आणि जाहिराती आढळलेल्या पानांवर वर्गीकृत एजंट ब्लॉक करते. आधीच्या मालकांनी प्रवेशाबाबत निष्कर्ष काढण्याआधी स्वतःच्या स्थलांतरित सेटिंग वाचाव्यात.

स्रोत आणि पुढील वाचन