تتيح Cloudflare الآن لأصحاب المواقع عناصر تحكم منفصلة لزواحف البحث وزواحف تدريب النماذج ووكلاء الذكاء الاصطناعي. وتقدم عملية طرحها في 15 سبتمبر للنطاقات الجديدة تهيئتين ابتدائيتين مختلفتين. فالموقع المموّل بالإعلانات يُقترح له Search: Allow وTraining: Disallow AI Training وAgent: Block on pages with ads. أما الموقع الذي لا يحقق إيرادات من الإعلانات، فيُقترح له Allow في العناصر الثلاثة. ويمكن للمالكين تعديل هذه التوصيات عند بدء الإعداد أو لاحقًا.

تتبع نطاقات Cloudflare الحالية خياراتها السابقة. فالموقع الذي ترك مفتاح «Block AI Bots» القديم معطّلًا ينتقل إلى Allow في Search وTraining وAgent. والموقع الذي اختار أيًا من خياري الحظر القديمين ينتقل إلى Search: Allow وTraining: Disallow AI Training وAgent: Block on pages with ads. أما النطاقات التي سبق أن ضبطت عناصر التحكم الثلاثة، فتحتفظ بالأثر العملي لتلك الخيارات وفق جدول الترحيل لدى Cloudflare. وتتوفر عناصر التحكم في جميع الخطط، بما فيها Free؛ ولا تكشف أهلية الخطة لاستخدامها عن السياسة المطبّقة حاليًا على نطاق بعينه.

ما الذي تغطيه الفئات الثلاث؟

يورد سجل تغييرات يوليو لدى Cloudflare التعريفات التالية: Search هو الزحف الذي يفهرس المحتوى للإجابة عن استعلامات لاحقة. Agent يغطي النشاط الفوري المنفّذ نيابة عن شخص، بما فيه روبوتات جلب المحتوى للمحادثات والوكلاء الذين يستخدمون المتصفح. Training يغطي جمع البيانات لتدريب النماذج أو ضبطها الدقيق. وقد يكون للزاحف أكثر من غرض. وتقول Cloudflare إن كل خيار حظر يغطي الروبوتات المتحقَّق منها ضمن تصنيفه، وروبوتات إضافية غير متحقَّق منها صُنّفت بالطريقة نفسها. فهذا تحكم قائم على التصنيف، وليس ادعاءً بأن كل متصفح آلي أو طلب مجهول الهوية سيُرصد.

في النطاق الذي يستخدم توصية المواقع المموّلة بالإعلانات، ينطبق «Block on pages with ads» على فئة Agent في الصفحات التي ترصد Cloudflare أنها تعرض إعلانات. ولا يعني حظر الوكلاء على الموقع بأكمله. ويظل Search مسموحًا به ضمن هذا الإعداد المسبق. أما إعداد Training فمختلف: إذ ينشر خيار سبتمبر Disallow AI Training تفضيلًا بعدم السماح بالتدريب عبر Bot Preference Sync، ويحظر زواحف التدريب باستثناء الزواحف متعددة الاستخدامات التي تسميها Cloudflare «Accountable». ويمكن لزواحف Accountable هذه مواصلة الزحف لأغراض البحث مع احترام تفضيل التدريب. وتقول Cloudflare إن الإعداد يتعامل بصورة منفصلة مع الزواحف المخصّصة للتدريب وحده، ولذلك لا يستلزم حظرها إيقاف البحث.

تُدقّق ترتيبات سبتمبر هذه ما ورد في وثائق يوليو، التي ما زالت تصف إعدادًا افتراضيًا مستقبليًا يحظر Training وAgent معًا على الصفحات التي تعرض إعلانات. أما إعلان الإصدار اللاحق وجداول Cloudflare التفصيلية للترحيل والتوصيات في سبتمبر، فتحدد Disallow AI Training للنطاق الجديد المموّل بالإعلانات، مع تطبيق حظر الصفحات الإعلانية على Agent. وينبغي ألا تُقرأ الصياغة الأقدم باعتبارها سياسة عامة لجميع العملاء الحاليين.

يختلف أثر «Disallow» و«Block» أيضًا على الزاحف المستخدم للبحث والتدريب معًا. وتقول Cloudflare إن الزواحف متعددة الاستخدامات تمثل 36.6% من حركة الزواحف المتحقَّق منها على شبكتها، لكنها لا تقدم هنا رقمًا مماثلًا للمواقع الفردية. ويشمل حظر Training الكامل الآن زواحف متعددة الاستخدامات مثل Googlebot وBingbot وApplebot، ما قد يزيل وصولها لأغراض البحث أيضًا. ويهدف Disallow AI Training إلى الإبقاء على وصول زواحف Accountable متعددة الاستخدامات لأغراض البحث مع التعبير عن قيد التدريب. وتشير Cloudflare إلى قيد حالي: لم تطلق Microsoft بعد دعمًا لتفضيل عدم السماح بالتدريب في robots.txt لدى Bingbot، ولذلك لا يؤدي اختيار Disallow AI Training حاليًا إلى إبلاغ Bing بهذا التفضيل تلقائيًا.

ما الذي يمكن لمالك الموقع فحصه؟

في لوحة تحكم Cloudflare، افتح إعدادات النطاق عبر Security Settings → Configure AI bot policies، وافحص الخيارات الحالية لـSearch وTraining وAgent. وتشرح وثائق التهيئة لدى Cloudflare خيارات Allow وBlock وBlock on pages with ads؛ بينما يشرح عرضها الصادر في سبتمبر خيار Disallow AI Training الإضافي وترحيل الإعدادات القديمة. وإذا كان الموقع يعتمد على مرات ظهور الإعلانات، فتحقق مما إذا كان النطاق يستخدم الإعداد المسبق للمواقع المموّلة بالإعلانات، وما إذا كان حظر Agent مقتصرًا على الصفحات التي رُصدت فيها إعلانات. وإذا كان الحفاظ على وصول محركات البحث التقليدية مهمًا، فافحص خيار Training قبل اختيار Block للزواحف متعددة الاستخدامات.

هذه هي عناصر التحكم وقواعد الطرح الموثّقة لدى Cloudflare. ولم تُجرِ BIG CHANGE تغييرًا على أي حساب Cloudflare، ولم تقِس حركة الروبوتات على موقع فعلي.

التغيير الكبير

فصلت Cloudflare ثلاثة استخدامات للوصول الآلي في سياسات على مستوى النطاق. وبالنسبة إلى النطاقات الجديدة المموّلة بالإعلانات، تُبقي توصيتها الصادرة في سبتمبر البحث مفتوحًا، وتعبّر عن تفضيل بعدم السماح بالتدريب، وتحظر الوكلاء المصنّفين على الصفحات التي تُرصد فيها إعلانات. ويحتاج مالكو النطاقات الحالية إلى قراءة إعداداتهم المرحّلة قبل استخلاص نتائج بشأن الوصول.

المصادر وقراءات إضافية