Cloudflare теперь даёт владельцам сайтов отдельные настройки для поисковых краулеров, краулеров обучения моделей и AI-агентов. Запуск 15 сентября предлагает новым доменам две начальные конфигурации. Сайту, зарабатывающему на рекламе, предлагаются Search: Allow, Training: Disallow AI Training и Agent: Block on pages with ads. Сайту без рекламной монетизации предлагается Allow для всех трёх. Владельцы могут изменить рекомендации при подключении или позже.

Существующие домены Cloudflare следуют прежнему выбору. Сайт, оставивший старый переключатель «Block AI Bots» выключенным, переходит на Allow для Search, Training и Agent. Сайт, выбравший любой из двух прежних вариантов блокировки, переходит на Search: Allow, Training: Disallow AI Training и Agent: Block on pages with ads. Домены с уже настроенными тремя параметрами сохраняют практический эффект этих решений согласно таблице миграции Cloudflare. Настройки доступны на любом тарифе, включая Free; право пользоваться ими на тарифе не показывает владельцу, какая политика сейчас действует на его домене.

Что охватывают три категории

В июльском журнале изменений Cloudflare определяет Search (поиск) как обход, индексирующий контент для ответа на последующие запросы. Agent (агенты) охватывает действия в реальном времени от лица человека, включая ботов получения контента для чатов и агентов, использующих браузер. Training (обучение) охватывает сбор для обучения или донастройки моделей. У краулера может быть несколько целей. По словам Cloudflare, каждый вариант блокировки охватывает проверенных ботов своей классификации и дополнительных непроверенных ботов с той же классификацией. Это контроль на основе классификации, а не утверждение, что каждый автоматизированный браузер или неопознанный запрос будет обнаружен.

Для домена с рекомендацией для рекламных сайтов «Block on pages with ads» применяется к категории Agent на страницах, где Cloudflare обнаруживает показ рекламы. Это не запрет агентов на всём сайте. Search в таком наборе настроек остаётся разрешённым. У Training другой принцип: сентябрьская опция Disallow AI Training публикует предпочтение не использовать материалы для обучения через Bot Preference Sync и блокирует обучающих краулеров, кроме смешанных краулеров, которых Cloudflare называет Accountable. Эти Accountable-краулеры могут продолжать поисковый обход, соблюдая предпочтение об обучении. Cloudflare говорит, что настройка отдельно охватывает краулеров только для обучения, поэтому их блокировка не требует отключать поиск.

Этот сентябрьский порядок уточняет июльскую документацию, где всё ещё описана будущая настройка по умолчанию, блокирующая Training и Agent на рекламных страницах. Более поздние объявление о запуске и подробные сентябрьские таблицы миграции и рекомендаций Cloudflare указывают для нового домена с рекламой Disallow AI Training, тогда как блокировка рекламных страниц применяется к Agent. Прежнее описание не следует считать универсальной политикой для существующих клиентов.

«Disallow» и «Block» также по-разному влияют на краулера, используемого для поиска и обучения. Cloudflare сообщает, что смешанные краулеры составляют 36.6% трафика проверенных краулеров в её сети, но не приводит здесь сопоставимого показателя для отдельных сайтов. Полная блокировка Training теперь включает смешанные краулеры Googlebot, Bingbot и Applebot, что может лишить их и поискового доступа. Disallow AI Training призвана сохранить поисковый доступ смешанных Accountable-краулеров, одновременно выражая ограничение обучения. Cloudflare отмечает нынешнюю границу: Microsoft ещё не выпустила поддержку предпочтения не использовать данные для обучения в robots.txt для Bingbot, поэтому выбор Disallow AI Training сегодня не передаёт это предпочтение Bing автоматически.

Что может проверить владелец сайта

В панели Cloudflare откройте для домена Security Settings → Configure AI bot policies (Настройки безопасности → Настройка политик AI-ботов) и проверьте текущие варианты Search, Training и Agent. Документация по настройке Cloudflare описывает Allow, Block и Block on pages with ads; сентябрьский материал объясняет дополнительную опцию Disallow AI Training и перенос прежних настроек. Если сайт зависит от рекламных показов, проверьте, использует ли домен рекламный набор настроек и ограничен ли Agent страницами с обнаруженной рекламой. Если важно сохранить обычный поисковый доступ, проверьте Training, прежде чем выбирать Block для смешанных краулеров.

Это документированные настройки и правила запуска Cloudflare. BIG CHANGE не менял учётную запись Cloudflare и не измерял трафик ботов на работающем сайте.

Главное изменение

Cloudflare разделила три назначения автоматизированного доступа на политики уровня домена. Для новых доменов с рекламой сентябрьская рекомендация оставляет поиск открытым, выражает предпочтение не использовать контент для обучения и блокирует классифицированных агентов на страницах с обнаруженной рекламой. Существующим владельцам нужно прочитать собственные перенесённые настройки, прежде чем делать выводы о доступе.

Источники и дополнительное чтение