Markdown সংস্করণ

AI-translated from English; not yet reviewed by a fluent editor.

# Cloudflare-এর AI বটের ডিফল্ট সেটিং নির্ভর করে সাইটের বিজ্ঞাপন ও বিদ্যমান কনফিগারেশনের ওপর

> বিজ্ঞাপননির্ভর নতুন ডোমেইনের জন্য Cloudflare প্রশিক্ষণ নিষিদ্ধ করার একটি সেটিং এবং বিজ্ঞাপন থাকা পাতায় এজেন্ট ব্লক করার বিকল্প দেয়। বিদ্যমান ডোমেইনগুলো স্থানান্তরিত পছন্দ অনুসরণ করে; মালিকেরা তিনটি নিয়ন্ত্রণই পরীক্ষা করতে পারেন।

By BIG CHANGE Editorial

Published: 2026-10-18T21:03:34.849Z
Updated: 2026-10-18T21:03:34.849Z
Canonical: https://bigchange.ai/blog/cloudflare-ai-search-training-agent-access-controls

![Conceptual charcoal illustration of an empty chair facing a wall-mounted display of a generic webpage with a prominent orange advertising area.](https://bigchange.ai/api/media/file/cloudflare-ad-page-concept-v2.png)
AI-generated conceptual illustration by BIG CHANGE; no real website, Cloudflare setting, crawler access or test result is depicted.

Cloudflare এখন ওয়েবসাইটের মালিকদের সার্চ ক্রলার, মডেল প্রশিক্ষণের ক্রলার ও AI এজেন্টের জন্য পৃথক নিয়ন্ত্রণ দেয়। এর [15 সেপ্টেম্বরের চালু করা ব্যবস্থা](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) নতুন ডোমেইনের জন্য দুটি ভিন্ন প্রাথমিক কনফিগারেশন প্রস্তাব করে। বিজ্ঞাপননির্ভর সাইটের জন্য প্রস্তাব হলো Search: Allow, Training: Disallow AI Training এবং Agent: Block on pages with ads। বিজ্ঞাপনের মাধ্যমে আয় করে না এমন সাইটের জন্য তিনটিতেই Allow প্রস্তাব করা হয়। মালিকেরা সেবায় যুক্ত হওয়ার সময় বা পরেও এই সুপারিশ বদলাতে পারেন।

বিদ্যমান Cloudflare ডোমেইনগুলো আগের পছন্দ অনুসরণ করে। পুরোনো “Block AI Bots” সুইচ বন্ধ রেখেছিল যে সাইট, সেটি Search, Training ও Agent—তিনটিতেই Allow-এ স্থানান্তরিত হয়। পুরোনো দুটি ব্লকিং বিকল্পের যেকোনোটি বেছে নেওয়া সাইটে হয় Search: Allow, Training: Disallow AI Training এবং Agent: Block on pages with ads। যে ডোমেইনগুলো ইতিমধ্যেই তিনটি নিয়ন্ত্রণ কনফিগার করেছিল, সেগুলোতে Cloudflare-এর [স্থানান্তরের সারণি](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) অনুযায়ী সেই পছন্দের কার্যকর ফল বজায় থাকে। Free-সহ সব প্ল্যানেই নিয়ন্ত্রণগুলো পাওয়া যায়; কোনো প্ল্যানে এগুলো ব্যবহারের সুযোগ আছে কি না, তা থেকে ডোমেইনটি বর্তমানে কোন নীতি ব্যবহার করছে জানা যায় না।

## তিনটি বিভাগের আওতায় কী রয়েছে

Cloudflare-এর [জুলাইয়ের পরিবর্তনলিপিতে](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) বিভাগগুলোর সংজ্ঞা দেওয়া হয়েছে। **Search** হলো এমন ক্রলিং, যা পরবর্তী অনুসন্ধানের উত্তর দিতে কনটেন্ট সূচিবদ্ধ করে। **Agent** বিভাগের আওতায় রয়েছে কোনো ব্যক্তির হয়ে তাৎক্ষণিক কাজ, যার মধ্যে আছে চ্যাটের জন্য কনটেন্ট আনা বট এবং ব্রাউজার ব্যবহারকারী এজেন্ট। **Training** বিভাগের আওতায় রয়েছে মডেল প্রশিক্ষণ বা ফাইন-টিউনিংয়ের জন্য তথ্য সংগ্রহ। একটি ক্রলারের একাধিক উদ্দেশ্য থাকতে পারে। Cloudflare বলছে, প্রতিটি ব্লকিং বিকল্প তার সংশ্লিষ্ট শ্রেণির যাচাইকৃত বট এবং একইভাবে শ্রেণিবদ্ধ অতিরিক্ত অযাচাইকৃত বটকে অন্তর্ভুক্ত করে। এটি শ্রেণিবিভাগভিত্তিক নিয়ন্ত্রণ; প্রতিটি স্বয়ংক্রিয় ব্রাউজার বা অজ্ঞাত অনুরোধ ধরা পড়বে—এমন দাবি নয়।

বিজ্ঞাপননির্ভর সাইটের সুপারিশ ব্যবহার করা ডোমেইনে “Block on pages with ads” কেবল সেই পাতাগুলোর Agent বিভাগের জন্য প্রযোজ্য, যেখানে Cloudflare বিজ্ঞাপন দেখানো হচ্ছে বলে শনাক্ত করে। এর মানে পুরো সাইটে এজেন্ট নিষিদ্ধ করা নয়। এই প্রিসেটে Search অনুমোদিত থাকে। Training-এর সেটিং আলাদা: সেপ্টেম্বরে আসা **Disallow AI Training** Bot Preference Sync-এর মাধ্যমে প্রশিক্ষণ অনুমোদন না করার পছন্দ প্রকাশ করে এবং প্রশিক্ষণের ক্রলার ব্লক করে; ব্যতিক্রম হলো একাধিক কাজে ব্যবহৃত ক্রলার, যেগুলোকে Cloudflare Accountable বলে। এই Accountable ক্রলারগুলো প্রশিক্ষণসংক্রান্ত পছন্দ মেনে সার্চের জন্য ক্রলিং চালিয়ে যেতে পারে। Cloudflare বলছে, সেটিংটি কেবল প্রশিক্ষণের জন্য ব্যবহৃত ক্রলারকে আলাদাভাবে সামলায়, তাই সেগুলো ব্লক করতে সার্চ বন্ধ করার প্রয়োজন হয় না।

সেপ্টেম্বরের এই ব্যবস্থা আরও নির্দিষ্ট করে ব্যাখ্যা করেছে [জুলাইয়ের নথির](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) বিষয়গুলো। ওই নথিতে এখনো একটি ভবিষ্যৎ ডিফল্টের কথা আছে, যা বিজ্ঞাপন থাকা পাতায় Training ও Agent দুটিই ব্লক করবে। পরে প্রকাশিত [চালুর ঘোষণা](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) এবং Cloudflare-এর সেপ্টেম্বরের বিস্তারিত স্থানান্তর ও সুপারিশের সারণিতে বিজ্ঞাপননির্ভর নতুন ডোমেইনের জন্য Disallow AI Training নির্দিষ্ট করা হয়েছে; বিজ্ঞাপন থাকা পাতার ব্লকটি প্রযোজ্য Agent-এর ক্ষেত্রে। পুরোনো বর্ণনাকে বিদ্যমান সব গ্রাহকের জন্য সর্বজনীন নীতি হিসেবে পড়া উচিত নয়।

সার্চ ও প্রশিক্ষণ—দুই কাজেই ব্যবহৃত ক্রলারের ওপর “Disallow” ও “Block”-এর প্রভাবও আলাদা। Cloudflare বলছে, তার নেটওয়ার্কের যাচাইকৃত ক্রলার ট্রাফিকের 36.6% আসে একাধিক কাজে ব্যবহৃত ক্রলার থেকে, তবে এখানে পৃথক সাইটের জন্য তুলনাযোগ্য সংখ্যা দেয়নি। সম্পূর্ণ Training ব্লকে এখন Googlebot, Bingbot ও Applebot-এর মতো একাধিক কাজে ব্যবহৃত ক্রলারও অন্তর্ভুক্ত, যা তাদের সার্চের প্রবেশাধিকারও বন্ধ করতে পারে। Disallow AI Training-এর উদ্দেশ্য হলো প্রশিক্ষণের নিষেধাজ্ঞা প্রকাশ করার পাশাপাশি Accountable শ্রেণির বহুমুখী ক্রলারের সার্চের প্রবেশাধিকার বজায় রাখা। Cloudflare বর্তমান একটি সীমাবদ্ধতার কথাও জানায়: Bingbot-এর জন্য Microsoft এখনো `robots.txt` ফাইলে প্রশিক্ষণ অনুমোদন না করার পছন্দ সমর্থনের ব্যবস্থা চালু করেনি। তাই বর্তমানে Disallow AI Training নির্বাচন করলে সেই পছন্দ স্বয়ংক্রিয়ভাবে Bing-এর কাছে পৌঁছায় না।

## সাইটের মালিক কী পরীক্ষা করতে পারেন

Cloudflare ড্যাশবোর্ডে ডোমেইনের **Security Settings → Configure AI bot policies** খুলে Search, Training ও Agent-এর বর্তমান নির্বাচন দেখুন। Cloudflare-এর [কনফিগারেশন নথিতে](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) Allow, Block ও Block on pages with ads ব্যাখ্যা করা হয়েছে; সেপ্টেম্বরের বিবরণে অতিরিক্ত Disallow AI Training বিকল্প এবং পুরোনো সেটিং স্থানান্তরের ব্যাখ্যা রয়েছে। সাইট বিজ্ঞাপন প্রদর্শনের ওপর নির্ভর করলে দেখুন, ডোমেইন বিজ্ঞাপননির্ভর প্রিসেট ব্যবহার করছে কি না এবং Agent-এর ব্লক কেবল শনাক্ত করা বিজ্ঞাপনের পাতায় সীমিত কি না। প্রচলিত সার্চের প্রবেশাধিকার বজায় রাখা গুরুত্বপূর্ণ হলে, বহুমুখী ক্রলারের জন্য Block বেছে নেওয়ার আগে Training-এর নির্বাচন পরীক্ষা করুন।

এগুলো Cloudflare-এর নথিভুক্ত নিয়ন্ত্রণ ও চালু করার নিয়ম। BIG CHANGE কোনো Cloudflare অ্যাকাউন্টে পরিবর্তন করেনি বা চালু কোনো সাইটের বট ট্রাফিক পরিমাপ করেনি।

## বড় পরিবর্তন

Cloudflare স্বয়ংক্রিয় প্রবেশাধিকারের তিনটি ব্যবহারকে ডোমেইনভিত্তিক পৃথক নীতিতে ভাগ করেছে। বিজ্ঞাপননির্ভর নতুন ডোমেইনের জন্য সেপ্টেম্বরের সুপারিশ সার্চ খোলা রাখে, প্রশিক্ষণ অনুমোদন না করার পছন্দ প্রকাশ করে এবং বিজ্ঞাপন শনাক্ত করা পাতায় শ্রেণিবদ্ধ এজেন্ট ব্লক করে। বিদ্যমান ডোমেইনের মালিকদের প্রবেশাধিকার সম্পর্কে সিদ্ধান্ত নেওয়ার আগে নিজেদের স্থানান্তরিত সেটিং পড়তে হবে।

## সূত্র ও আরও পড়ুন

- [Cloudflare, “দুই সুবিধা একসঙ্গে: AI প্রশিক্ষণ অনুমোদন না করেও সার্চে খুঁজে পাওয়ার সুযোগ বজায় রাখুন”](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) (15 সেপ্টেম্বর 2026)। চালু করার বিস্তারিত সূত্র: সুপারিশ ও স্থানান্তরের সারণি, বহুমুখী ক্রলারের আচরণ এবং Bing-এর সীমাবদ্ধতা।
- [Cloudflare, “সার্চ না AI প্রশিক্ষণ—এই আপসের অবসানে সহায়তা করছে Cloudflare”](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) (15 সেপ্টেম্বর 2026)। চালুর ঘোষণায় বিজ্ঞাপননির্ভর নতুন সাইট ও অন্য নতুন সাইটের পার্থক্য করা হয়েছে।
- [Cloudflare Developers, “AI ট্রাফিক ব্যবস্থাপনার নতুন বিকল্প”](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) (1 জুলাই 2026)। তিনটি বিভাগের মূল চালুর ঘোষণা এবং ডিফল্টের আগের বর্ণনা।
- [Cloudflare Docs, “AI বট ব্লক করুন”](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) (পাতায় সর্বশেষ হালনাগাদের তারিখ 1 জুলাই 2026 হিসেবে উল্লেখ আছে)। সংজ্ঞা, শ্রেণিবদ্ধ যাচাইকৃত ও অযাচাইকৃত বট এবং ড্যাশবোর্ডের অবস্থান; চালুর আগের ডিফল্টসংক্রান্ত ভাষা সেপ্টেম্বরের বিস্তারিত নীতি থেকে আলাদা।

## Sources

- [Cloudflare, AI বট ব্লক করুন (সর্বশেষ হালনাগাদ 2026-07-01)](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) — 1 জুলাই তারিখযুক্ত প্রাথমিক কনফিগারেশন নথি: বিভাগের সংজ্ঞা, যাচাইকৃত ও অযাচাইকৃত শ্রেণিবিভাগ, বিজ্ঞাপন থাকা পাতা শনাক্তকরণ এবং ড্যাশবোর্ডের পথ। ভবিষ্যৎ ডিফল্ট নিয়ে এর ভাষা সেপ্টেম্বরের চালুর আগের; পরবর্তী বিস্তারিত বিবরণ সেটিকে প্রতিস্থাপন করেছে।
- [Cloudflare, AI ট্রাফিক নিয়ন্ত্রণের ঘোষণা (2026-09-15)](https://www.cloudflare.com/press/press-releases/2026/cloudflare-helps-end-the-search-or-ai-training-tradeoff/) — প্রাথমিক চালুর ঘোষণা: বিজ্ঞাপননির্ভর নতুন সাইটে Search অনুমোদিত, Training অননুমোদিত এবং বিজ্ঞাপন থাকা পাতায় Agent ব্লক থাকে; অন্য নতুন সাইটে তিনটিই অনুমোদিত।
- [Cloudflare Developers, AI ট্রাফিক ব্যবস্থাপনার নতুন বিকল্প (2026-07-01)](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) — তিনটি বিভাগের মূল চালু এবং সেপ্টেম্বরের প্রস্তাবিত ডিফল্ট; চূড়ান্ত চালুর নিয়ম হিসেবে নয়, ঘটনাক্রম বোঝাতে রাখা হয়েছে।
- [Cloudflare, দুই সুবিধা একসঙ্গে: AI প্রশিক্ষণ অনুমোদন না করেও সার্চে খুঁজে পাওয়ার সুযোগ বজায় রাখুন (2026-09-15)](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — কোন নিয়ম প্রযোজ্য তা নির্ধারণের বিস্তারিত চালুর বিবরণ: নতুন ডোমেইনের সুপারিশ, বিদ্যমান ডোমেইনের স্থানান্তর, বহুমুখী ক্রলারের জন্য Disallow ও Block-এর পার্থক্য এবং Bingbot-এর সীমাবদ্ধতা।