Cloudflare এখন ওয়েবসাইটের মালিকদের সার্চ ক্রলার, মডেল প্রশিক্ষণের ক্রলার ও AI এজেন্টের জন্য পৃথক নিয়ন্ত্রণ দেয়। এর 15 সেপ্টেম্বরের চালু করা ব্যবস্থা নতুন ডোমেইনের জন্য দুটি ভিন্ন প্রাথমিক কনফিগারেশন প্রস্তাব করে। বিজ্ঞাপননির্ভর সাইটের জন্য প্রস্তাব হলো Search: Allow, Training: Disallow AI Training এবং Agent: Block on pages with ads। বিজ্ঞাপনের মাধ্যমে আয় করে না এমন সাইটের জন্য তিনটিতেই Allow প্রস্তাব করা হয়। মালিকেরা সেবায় যুক্ত হওয়ার সময় বা পরেও এই সুপারিশ বদলাতে পারেন।

বিদ্যমান Cloudflare ডোমেইনগুলো আগের পছন্দ অনুসরণ করে। পুরোনো “Block AI Bots” সুইচ বন্ধ রেখেছিল যে সাইট, সেটি Search, Training ও Agent—তিনটিতেই Allow-এ স্থানান্তরিত হয়। পুরোনো দুটি ব্লকিং বিকল্পের যেকোনোটি বেছে নেওয়া সাইটে হয় Search: Allow, Training: Disallow AI Training এবং Agent: Block on pages with ads। যে ডোমেইনগুলো ইতিমধ্যেই তিনটি নিয়ন্ত্রণ কনফিগার করেছিল, সেগুলোতে Cloudflare-এর স্থানান্তরের সারণি অনুযায়ী সেই পছন্দের কার্যকর ফল বজায় থাকে। Free-সহ সব প্ল্যানেই নিয়ন্ত্রণগুলো পাওয়া যায়; কোনো প্ল্যানে এগুলো ব্যবহারের সুযোগ আছে কি না, তা থেকে ডোমেইনটি বর্তমানে কোন নীতি ব্যবহার করছে জানা যায় না।

তিনটি বিভাগের আওতায় কী রয়েছে

Cloudflare-এর জুলাইয়ের পরিবর্তনলিপিতে বিভাগগুলোর সংজ্ঞা দেওয়া হয়েছে। Search হলো এমন ক্রলিং, যা পরবর্তী অনুসন্ধানের উত্তর দিতে কনটেন্ট সূচিবদ্ধ করে। Agent বিভাগের আওতায় রয়েছে কোনো ব্যক্তির হয়ে তাৎক্ষণিক কাজ, যার মধ্যে আছে চ্যাটের জন্য কনটেন্ট আনা বট এবং ব্রাউজার ব্যবহারকারী এজেন্ট। Training বিভাগের আওতায় রয়েছে মডেল প্রশিক্ষণ বা ফাইন-টিউনিংয়ের জন্য তথ্য সংগ্রহ। একটি ক্রলারের একাধিক উদ্দেশ্য থাকতে পারে। Cloudflare বলছে, প্রতিটি ব্লকিং বিকল্প তার সংশ্লিষ্ট শ্রেণির যাচাইকৃত বট এবং একইভাবে শ্রেণিবদ্ধ অতিরিক্ত অযাচাইকৃত বটকে অন্তর্ভুক্ত করে। এটি শ্রেণিবিভাগভিত্তিক নিয়ন্ত্রণ; প্রতিটি স্বয়ংক্রিয় ব্রাউজার বা অজ্ঞাত অনুরোধ ধরা পড়বে—এমন দাবি নয়।

বিজ্ঞাপননির্ভর সাইটের সুপারিশ ব্যবহার করা ডোমেইনে “Block on pages with ads” কেবল সেই পাতাগুলোর Agent বিভাগের জন্য প্রযোজ্য, যেখানে Cloudflare বিজ্ঞাপন দেখানো হচ্ছে বলে শনাক্ত করে। এর মানে পুরো সাইটে এজেন্ট নিষিদ্ধ করা নয়। এই প্রিসেটে Search অনুমোদিত থাকে। Training-এর সেটিং আলাদা: সেপ্টেম্বরে আসা Disallow AI Training Bot Preference Sync-এর মাধ্যমে প্রশিক্ষণ অনুমোদন না করার পছন্দ প্রকাশ করে এবং প্রশিক্ষণের ক্রলার ব্লক করে; ব্যতিক্রম হলো একাধিক কাজে ব্যবহৃত ক্রলার, যেগুলোকে Cloudflare Accountable বলে। এই Accountable ক্রলারগুলো প্রশিক্ষণসংক্রান্ত পছন্দ মেনে সার্চের জন্য ক্রলিং চালিয়ে যেতে পারে। Cloudflare বলছে, সেটিংটি কেবল প্রশিক্ষণের জন্য ব্যবহৃত ক্রলারকে আলাদাভাবে সামলায়, তাই সেগুলো ব্লক করতে সার্চ বন্ধ করার প্রয়োজন হয় না।

সেপ্টেম্বরের এই ব্যবস্থা আরও নির্দিষ্ট করে ব্যাখ্যা করেছে জুলাইয়ের নথির বিষয়গুলো। ওই নথিতে এখনো একটি ভবিষ্যৎ ডিফল্টের কথা আছে, যা বিজ্ঞাপন থাকা পাতায় Training ও Agent দুটিই ব্লক করবে। পরে প্রকাশিত চালুর ঘোষণা এবং Cloudflare-এর সেপ্টেম্বরের বিস্তারিত স্থানান্তর ও সুপারিশের সারণিতে বিজ্ঞাপননির্ভর নতুন ডোমেইনের জন্য Disallow AI Training নির্দিষ্ট করা হয়েছে; বিজ্ঞাপন থাকা পাতার ব্লকটি প্রযোজ্য Agent-এর ক্ষেত্রে। পুরোনো বর্ণনাকে বিদ্যমান সব গ্রাহকের জন্য সর্বজনীন নীতি হিসেবে পড়া উচিত নয়।

সার্চ ও প্রশিক্ষণ—দুই কাজেই ব্যবহৃত ক্রলারের ওপর “Disallow” ও “Block”-এর প্রভাবও আলাদা। Cloudflare বলছে, তার নেটওয়ার্কের যাচাইকৃত ক্রলার ট্রাফিকের 36.6% আসে একাধিক কাজে ব্যবহৃত ক্রলার থেকে, তবে এখানে পৃথক সাইটের জন্য তুলনাযোগ্য সংখ্যা দেয়নি। সম্পূর্ণ Training ব্লকে এখন Googlebot, Bingbot ও Applebot-এর মতো একাধিক কাজে ব্যবহৃত ক্রলারও অন্তর্ভুক্ত, যা তাদের সার্চের প্রবেশাধিকারও বন্ধ করতে পারে। Disallow AI Training-এর উদ্দেশ্য হলো প্রশিক্ষণের নিষেধাজ্ঞা প্রকাশ করার পাশাপাশি Accountable শ্রেণির বহুমুখী ক্রলারের সার্চের প্রবেশাধিকার বজায় রাখা। Cloudflare বর্তমান একটি সীমাবদ্ধতার কথাও জানায়: Bingbot-এর জন্য Microsoft এখনো robots.txt ফাইলে প্রশিক্ষণ অনুমোদন না করার পছন্দ সমর্থনের ব্যবস্থা চালু করেনি। তাই বর্তমানে Disallow AI Training নির্বাচন করলে সেই পছন্দ স্বয়ংক্রিয়ভাবে Bing-এর কাছে পৌঁছায় না।

সাইটের মালিক কী পরীক্ষা করতে পারেন

Cloudflare ড্যাশবোর্ডে ডোমেইনের Security Settings → Configure AI bot policies খুলে Search, Training ও Agent-এর বর্তমান নির্বাচন দেখুন। Cloudflare-এর কনফিগারেশন নথিতে Allow, Block ও Block on pages with ads ব্যাখ্যা করা হয়েছে; সেপ্টেম্বরের বিবরণে অতিরিক্ত Disallow AI Training বিকল্প এবং পুরোনো সেটিং স্থানান্তরের ব্যাখ্যা রয়েছে। সাইট বিজ্ঞাপন প্রদর্শনের ওপর নির্ভর করলে দেখুন, ডোমেইন বিজ্ঞাপননির্ভর প্রিসেট ব্যবহার করছে কি না এবং Agent-এর ব্লক কেবল শনাক্ত করা বিজ্ঞাপনের পাতায় সীমিত কি না। প্রচলিত সার্চের প্রবেশাধিকার বজায় রাখা গুরুত্বপূর্ণ হলে, বহুমুখী ক্রলারের জন্য Block বেছে নেওয়ার আগে Training-এর নির্বাচন পরীক্ষা করুন।

এগুলো Cloudflare-এর নথিভুক্ত নিয়ন্ত্রণ ও চালু করার নিয়ম। BIG CHANGE কোনো Cloudflare অ্যাকাউন্টে পরিবর্তন করেনি বা চালু কোনো সাইটের বট ট্রাফিক পরিমাপ করেনি।

বড় পরিবর্তন

Cloudflare স্বয়ংক্রিয় প্রবেশাধিকারের তিনটি ব্যবহারকে ডোমেইনভিত্তিক পৃথক নীতিতে ভাগ করেছে। বিজ্ঞাপননির্ভর নতুন ডোমেইনের জন্য সেপ্টেম্বরের সুপারিশ সার্চ খোলা রাখে, প্রশিক্ষণ অনুমোদন না করার পছন্দ প্রকাশ করে এবং বিজ্ঞাপন শনাক্ত করা পাতায় শ্রেণিবদ্ধ এজেন্ট ব্লক করে। বিদ্যমান ডোমেইনের মালিকদের প্রবেশাধিকার সম্পর্কে সিদ্ধান্ত নেওয়ার আগে নিজেদের স্থানান্তরিত সেটিং পড়তে হবে।

সূত্র ও আরও পড়ুন