A Cloudflare agora oferece aos responsáveis por sites controles separados para rastreadores de busca, rastreadores de treinamento de modelos e agentes de IA. Sua implementação de 15 de setembro oferece aos novos domínios duas configurações iniciais diferentes. Para um site sustentado por anúncios, a recomendação é Search: Allow, Training: Disallow AI Training e Agent: Block on pages with ads. Para um site que não monetiza com anúncios, a recomendação é Allow nos três controles. Os responsáveis podem mudar essas recomendações durante a configuração inicial ou depois.

Domínios existentes na Cloudflare seguem as escolhas anteriores. Um site que havia deixado desativada a antiga opção “Block AI Bots” passa a usar Allow em Search, Training e Agent. Um site que havia selecionado qualquer uma das duas opções antigas de bloqueio passa a Search: Allow, Training: Disallow AI Training e Agent: Block on pages with ads. Domínios que já haviam configurado os três controles mantêm o efeito prático dessas escolhas, conforme a tabela de migração da Cloudflare. Os controles estão disponíveis em todos os planos, inclusive o Free; ter acesso ao recurso no plano não indica qual política o domínio utiliza atualmente.

O que as três categorias abrangem

O registro de mudanças de julho da Cloudflare define Search como o rastreamento que indexa conteúdo para responder a consultas posteriores. Agent abrange atividades em tempo real realizadas em nome de uma pessoa, incluindo bots que buscam conteúdo para chats e agentes que usam navegadores. Training abrange a coleta para treinamento ou ajuste fino de modelos. Um rastreador pode ter mais de uma finalidade. A Cloudflare afirma que cada opção de bloqueio abrange bots verificados de sua classificação e outros bots não verificados classificados da mesma forma. Trata-se de um controle baseado em classificação, não de uma afirmação de que todos os navegadores automatizados ou todas as requisições não identificadas serão detectados.

Em um domínio que usa a recomendação para sites sustentados por anúncios, “Block on pages with ads” se aplica à categoria Agent nas páginas em que a Cloudflare detecta a exibição de anúncios. Isso não significa proibir agentes no site inteiro. Search continua permitido nesse padrão. A configuração Training é diferente: a opção de setembro Disallow AI Training publica uma preferência de não permitir treinamento por meio do Bot Preference Sync e bloqueia rastreadores de treinamento, exceto os de uso misto que a Cloudflare chama de Accountable. Esses rastreadores Accountable podem continuar o rastreamento para busca respeitando a preferência sobre treinamento. A Cloudflare diz que a configuração trata separadamente os rastreadores exclusivos de treinamento, portanto bloqueá-los não exige interromper a busca.

Esse arranjo de setembro detalha e ajusta a documentação de julho, que ainda descreve um padrão futuro que bloqueia tanto Training quanto Agent nas páginas com anúncios. O anúncio de lançamento posterior e as tabelas detalhadas de migração e recomendação publicadas pela Cloudflare em setembro especificam Disallow AI Training para um novo domínio sustentado por anúncios, com o bloqueio nas páginas publicitárias aplicado a Agent. A descrição antiga não deve ser interpretada como uma política universal para clientes existentes.

“Disallow” e “Block” também têm efeitos diferentes sobre um rastreador usado tanto para busca quanto para treinamento. Segundo a Cloudflare, rastreadores de uso misto representam 36.6% do tráfego de rastreadores verificados em sua rede, mas ela não apresenta aqui um número comparável para sites individuais. O bloqueio completo de Training agora inclui rastreadores de uso misto como Googlebot, Bingbot e Applebot, o que também pode retirar seu acesso para busca. Disallow AI Training busca preservar o acesso de busca dos rastreadores de uso misto Accountable e, ao mesmo tempo, expressar a restrição de treinamento. A Cloudflare aponta uma limitação atual: a Microsoft ainda não disponibilizou suporte, para o Bingbot, a uma preferência de não permitir treinamento em robots.txt, portanto selecionar Disallow AI Training não comunica automaticamente essa preferência ao Bing hoje.

O que o responsável por um site pode conferir

No painel da Cloudflare, abra, para o domínio, Security Settings → Configure AI bot policies e examine as opções atuais de Search, Training e Agent. A documentação de configuração da Cloudflare descreve Allow, Block e Block on pages with ads; sua explicação de setembro aborda a opção adicional Disallow AI Training e a migração das configurações antigas. Se o site depende de impressões de anúncios, confira se o domínio usa o padrão para sites sustentados por publicidade e se Agent está limitado às páginas em que anúncios são detectados. Se preservar o acesso da busca convencional for importante, verifique a opção de Training antes de selecionar Block para rastreadores de uso misto.

Esses são os controles e as regras de implementação documentados pela Cloudflare. O BIG CHANGE não alterou uma conta da Cloudflare nem mediu tráfego de bots em um site em produção.

A grande mudança

A Cloudflare separou três usos do acesso automatizado em políticas no nível do domínio. Para novos domínios sustentados por anúncios, sua recomendação de setembro mantém a busca aberta, expressa uma preferência de não permitir treinamento e bloqueia agentes classificados nas páginas em que anúncios são detectados. Responsáveis por domínios existentes precisam ler suas próprias configurações migradas antes de tirar conclusões sobre o acesso.

Fontes e leituras complementares