Cloudflare اب ویب سائٹ مالکان کو سرچ کرالرز، ماڈل کی تربیت کے کرالرز اور AI ایجنٹس کے لیے الگ کنٹرولز دیتا ہے۔ اس کا 15 ستمبر کا اجرا نئے ڈومینز کے لیے دو مختلف ابتدائی ترتیبیں پیش کرتا ہے۔ اشتہارات سے چلنے والی سائٹ کے لیے Search: Allow، Training: Disallow AI Training اور Agent: Block on pages with ads تجویز کیا جاتا ہے۔ جو سائٹ اشتہارات سے آمدن نہیں لیتی، اسے تینوں کے لیے Allow تجویز کیا جاتا ہے۔ مالکان شمولیت کے ابتدائی عمل میں یا بعد میں ان سفارشات کو بدل سکتے ہیں۔

موجودہ Cloudflare ڈومینز اپنی پچھلی پسند کی پیروی کرتے ہیں۔ جس سائٹ نے پرانا “Block AI Bots” سوئچ بند رکھا تھا، وہ Search، Training اور Agent، تینوں میں Allow پر منتقل ہوتی ہے۔ جس نے دونوں پرانے بلاکنگ اختیارات میں سے کوئی ایک چنا تھا، وہ Search: Allow، Training: Disallow AI Training اور Agent: Block on pages with ads پر منتقل ہوتی ہے۔ جن ڈومینز میں تینوں کنٹرول پہلے ہی ترتیب دیے جا چکے تھے، ان کی پسند کا عملی اثر Cloudflare کے منتقلی کے جدول کے مطابق برقرار رہتا ہے۔ یہ کنٹرول Free سمیت ہر پلان میں دستیاب ہیں؛ کسی پلان میں ان کی دستیابی سے مالک کو یہ معلوم نہیں ہوتا کہ اس کے ڈومین پر اس وقت کون سی پالیسی لاگو ہے۔

تینوں زمرے کن سرگرمیوں کا احاطہ کرتے ہیں

Cloudflare کے جولائی کے تبدیلیوں کے ریکارڈ میں ان زمروں کی تعریف دی گئی ہے۔ Search سے مراد وہ کرالنگ ہے جو بعد کی تلاشوں کے جواب دینے کے لیے مواد کو انڈیکس کرتی ہے۔ Agent کسی شخص کی طرف سے حقیقی وقت میں انجام دی جانے والی سرگرمیوں کا احاطہ کرتا ہے، جن میں چیٹ کے لیے مواد لانے والے بوٹس اور براؤزر استعمال کرنے والے ایجنٹس شامل ہیں۔ Training ماڈل کی تربیت یا فائن ٹیوننگ کے لیے مواد جمع کرنے کا احاطہ کرتا ہے۔ ایک کرالر کے ایک سے زیادہ مقاصد ہو سکتے ہیں۔ Cloudflare کا کہنا ہے کہ ہر بلاکنگ اختیار اس کی متعلقہ درجہ بندی کے تصدیق شدہ بوٹس اور اسی طرح درجہ بند اضافی غیر تصدیق شدہ بوٹس کا احاطہ کرتا ہے۔ یہ درجہ بندی پر مبنی کنٹرول ہے، اس بات کا دعویٰ نہیں کہ ہر خودکار براؤزر یا نامعلوم درخواست لازماً پکڑی جائے گی۔

اشتہارات سے چلنے والی سائٹس کی سفارش استعمال کرنے والے ڈومین میں “Block on pages with ads” ان صفحات پر Agent زمرے کے لیے لاگو ہوتا ہے جہاں Cloudflare اشتہارات دکھائے جانے کی نشاندہی کرتا ہے۔ اس کا مطلب پوری سائٹ پر ایجنٹس کی پابندی نہیں۔ اس پیش سیٹ میں Search کی اجازت برقرار رہتی ہے۔ Training کی سیٹنگ مختلف ہے: ستمبر کا Disallow AI Training، Bot Preference Sync کے ذریعے تربیت کی اجازت نہ دینے کی ترجیح شائع کرتا ہے اور تربیت کے کرالرز بلاک کرتا ہے، سوائے ان متعدد استعمال والے کرالرز کے جنہیں Cloudflare، Accountable کہتا ہے۔ یہ Accountable کرالرز تربیت سے متعلق ترجیح کا احترام کرتے ہوئے سرچ کرالنگ جاری رکھ سکتے ہیں۔ Cloudflare کے مطابق، یہ سیٹنگ صرف تربیت کے لیے استعمال ہونے والے کرالرز کو الگ سنبھالتی ہے، لہٰذا انہیں بلاک کرنے کے لیے سرچ بند کرنا ضروری نہیں۔

ستمبر کا یہ انتظام اُن باتوں کو زیادہ واضح اور دقیق بناتا ہے جو جولائی کی دستاویزات میں بیان کی گئی تھیں۔ ان میں اب بھی ایک آئندہ طے شدہ ترتیب بیان کی گئی ہے جو اشتہار والے صفحات پر Training اور Agent دونوں بلاک کرتی ہے۔ بعد کا اجرا کا اعلان اور Cloudflare کے ستمبر کے تفصیلی منتقلی اور سفارشات کے جدول اشتہارات سے چلنے والے نئے ڈومین کے لیے Disallow AI Training مقرر کرتے ہیں، جبکہ اشتہار والے صفحات کا بلاک Agent پر لاگو ہوتا ہے۔ پرانی وضاحت کو تمام موجودہ صارفین کے لیے یکساں پالیسی نہیں سمجھنا چاہیے۔

“Disallow” اور “Block” کے سرچ اور تربیت دونوں کے لیے استعمال ہونے والے کرالر پر اثرات بھی مختلف ہیں۔ Cloudflare کے مطابق، اس کے نیٹ ورک پر تصدیق شدہ کرالر ٹریفک کا 36.6% متعدد استعمال والے کرالرز سے آتا ہے، اگرچہ وہ یہاں انفرادی سائٹس کے لیے کوئی قابل موازنہ عدد نہیں دیتا۔ Training کا مکمل بلاک اب Googlebot، Bingbot اور Applebot جیسے متعدد استعمال والے کرالرز کو بھی شامل کرتا ہے، جس سے ان کی سرچ رسائی بھی ختم ہو سکتی ہے۔ Disallow AI Training کا مقصد تربیت کی پابندی ظاہر کرتے ہوئے Accountable متعدد استعمال والے کرالرز کی سرچ رسائی برقرار رکھنا ہے۔ Cloudflare ایک موجودہ حد بھی بتاتا ہے: Microsoft نے ابھی تک Bingbot کے لیے robots.txt میں تربیت کی اجازت نہ دینے کی ترجیح کی معاونت فراہم نہیں کی۔ اس لیے آج Disallow AI Training منتخب کرنے سے یہ ترجیح خودبخود Bing تک نہیں پہنچتی۔

سائٹ کا مالک کیا دیکھ سکتا ہے

Cloudflare ڈیش بورڈ میں ڈومین کے لیے Security Settings → Configure AI bot policies کھولیں اور Search، Training اور Agent کی موجودہ پسند دیکھیں۔ Cloudflare کی ترتیب دینے کی دستاویزات میں Allow، Block اور Block on pages with ads کی وضاحت ہے؛ ستمبر کے بیان میں اضافی Disallow AI Training اختیار اور پرانی ترتیبات کی منتقلی سمجھائی گئی ہے۔ اگر سائٹ اشتہارات کی نمائش پر انحصار کرتی ہے تو دیکھیں کہ ڈومین اشتہارات سے چلنے والی سائٹس کا پیش سیٹ استعمال کرتا ہے یا نہیں، اور Agent کا بلاک صرف ان صفحات تک محدود ہے یا نہیں جہاں اشتہارات کی نشاندہی ہوئی ہے۔ اگر روایتی سرچ رسائی برقرار رکھنا اہم ہو تو متعدد استعمال والے کرالرز کے لیے Block چننے سے پہلے Training کی پسند دیکھیں۔

یہ Cloudflare کے دستاویزی کنٹرول اور اجرا کے قواعد ہیں۔ BIG CHANGE نے کسی Cloudflare اکاؤنٹ میں تبدیلی نہیں کی اور نہ کسی فعال سائٹ پر بوٹس کی ٹریفک ناپی ہے۔

بڑی تبدیلی

Cloudflare نے خودکار رسائی کے تین استعمال کو ڈومین کی سطح کی الگ پالیسیوں میں تقسیم کیا ہے۔ اشتہارات سے چلنے والے نئے ڈومینز کے لیے اس کی ستمبر کی سفارش سرچ کھلی رکھتی ہے، تربیت کی اجازت نہ دینے کی ترجیح ظاہر کرتی ہے اور اشتہارات کی نشاندہی والے صفحات پر درجہ بند ایجنٹس بلاک کرتی ہے۔ موجودہ ڈومین مالکان کو رسائی کے بارے میں نتیجہ اخذ کرنے سے پہلے اپنی منتقل شدہ ترتیبات پڑھنی چاہییں۔

ذرائع اور مزید مطالعہ