A Cloudflare disponibiliza agora aos proprietários de sites controlos separados para rastreadores de pesquisa, rastreadores de treino de modelos e agentes de IA. O seu lançamento de 15 de setembro propõe duas configurações iniciais diferentes para novos domínios. A um site financiado por publicidade são propostas Search: Allow, Training: Disallow AI Training e Agent: Block on pages with ads. A um site que não obtém receitas de anúncios é proposto Allow nos três controlos. Os proprietários podem alterar as recomendações durante a configuração inicial ou mais tarde.

Os domínios Cloudflare existentes seguem as escolhas anteriores. Um site que tinha deixado desligado o antigo interruptor «Block AI Bots» passa para Allow em Search, Training e Agent. Um site que tinha selecionado qualquer uma das duas antigas opções de bloqueio passa para Search: Allow, Training: Disallow AI Training e Agent: Block on pages with ads. Os domínios que já tinham configurado os três controlos mantêm o efeito prático dessas escolhas de acordo com a tabela de migração da Cloudflare. Os controlos estão disponíveis em todos os planos, incluindo Free; a elegibilidade do plano não indica ao proprietário qual é a política atualmente aplicada ao domínio.

O que abrangem as três categorias

O registo de alterações de julho da Cloudflare define Search (pesquisa) como o rastreio que indexa conteúdo para responder a consultas posteriores. Agent (agentes) abrange atividade em tempo real em nome de uma pessoa, incluindo bots que obtêm conteúdo para conversas e agentes que utilizam o navegador. Training (treino) abrange a recolha para treino ou afinação de modelos. Um rastreador pode ter mais de uma finalidade. A Cloudflare afirma que cada opção de bloqueio abrange bots verificados na sua classificação e bots adicionais não verificados classificados da mesma forma. É um controlo baseado em classificação, não uma afirmação de que todos os navegadores automatizados ou pedidos não identificados serão detetados.

Num domínio que utiliza a recomendação para sites com publicidade, «Block on pages with ads» aplica-se à categoria Agent nas páginas em que a Cloudflare deteta anúncios. Não descreve uma proibição de agentes em todo o site. Search continua permitido nessa configuração. Training é diferente: a opção de setembro Disallow AI Training publica uma preferência de não utilização para treino através de Bot Preference Sync e bloqueia rastreadores de treino, exceto os de utilização mista que a Cloudflare designa Accountable. Esses rastreadores podem continuar o rastreio para pesquisa enquanto respeitam a preferência relativa ao treino. A Cloudflare afirma que a definição trata separadamente os rastreadores exclusivamente de treino, pelo que bloqueá-los não exige desligar a pesquisa.

Esta organização de setembro precisa a documentação de julho, que ainda descreve uma futura predefinição que bloqueia Training e Agent em páginas com anúncios. O posterior anúncio de lançamento e as tabelas detalhadas de migração e recomendações de setembro da Cloudflare especificam Disallow AI Training para um novo domínio com publicidade, aplicando a Agent o bloqueio em páginas com anúncios. A descrição anterior não deve ser interpretada como uma política universal para clientes existentes.

«Disallow» e «Block» também têm efeitos diferentes num rastreador usado para pesquisa e treino. A Cloudflare afirma que os rastreadores de utilização mista representam 36.6% do tráfego de rastreadores verificados na sua rede, mas não fornece aqui um valor comparável para sites individuais. Um bloqueio integral de Training inclui agora rastreadores mistos como Googlebot, Bingbot e Applebot, podendo também retirar-lhes o acesso à pesquisa. Disallow AI Training pretende manter o acesso à pesquisa dos rastreadores mistos Accountable enquanto expressa a restrição ao treino. A Cloudflare assinala uma limitação atual: a Microsoft ainda não disponibilizou suporte para uma preferência de não treino em robots.txt para o Bingbot, pelo que selecionar Disallow AI Training não comunica automaticamente essa preferência ao Bing neste momento.

O que um proprietário de site pode verificar

No painel da Cloudflare, abra para o domínio Security Settings → Configure AI bot policies (Definições de segurança → Configurar políticas de bots de IA) e examine as escolhas atuais de Search, Training e Agent. A documentação de configuração da Cloudflare descreve Allow, Block e Block on pages with ads; o relato de setembro explica a opção adicional Disallow AI Training e a migração das definições antigas. Se o site depende de impressões publicitárias, verifique se o domínio usa a configuração para sites com publicidade e se Agent está limitado a páginas onde foram detetados anúncios. Se preservar o acesso de pesquisa convencional é importante, verifique Training antes de selecionar Block para rastreadores mistos.

Estes são os controlos e as regras de lançamento documentados pela Cloudflare. A BIG CHANGE não alterou uma conta Cloudflare nem mediu tráfego de bots num site em funcionamento.

A grande mudança

A Cloudflare separou três utilizações do acesso automatizado em políticas ao nível do domínio. Para novos domínios com publicidade, a recomendação de setembro mantém a pesquisa aberta, expressa uma preferência de não treino e bloqueia agentes classificados em páginas onde são detetados anúncios. Os proprietários existentes precisam de ler as suas próprias definições migradas antes de tirar conclusões sobre o acesso.

Fontes e leituras adicionais