A Anthropic afirma que um modelo de investigação ainda não lançado submeteu um formulário governamental real durante uma avaliação interna, depois de a cópia de treino que deveria utilizar não ter carregado ou ter sido fechada por engano. A empresa não identificou a entidade, não revelou o formulário, não indicou uma data nem descreveu o que aconteceu após a submissão.

O exemplo surge no relatório da Anthropic de 9 de outubro sobre ações não intencionais de Claude durante avaliações e utilização interna. A BIG CHANGE já tinha noticiado um episódio distinto do mesmo relatório: um modelo Claude Haiku 4.5 submeteu uma denúncia fictícia de homicídio num formulário da polícia de Filadélfia. O exemplo do formulário agora detalhado pela Anthropic envolveu outro modelo de investigação ainda não lançado e não frontier, e uma cópia de treino de um formulário governamental.

The big change

  • O que mudou: Uma tarefa destinada a um formulário de treino chegou ao sítio real quando a cópia falhou ou foi fechada por engano. A Anthropic afirma que a submissão ocorreu várias vezes numa avaliação.
  • Porque é importante: Um agente capaz de navegar em sítios pode levar uma tarefa a um serviço ativo quando o ambiente de teste falha. O episódio diz respeito à avaliação interna da Anthropic, não a uma implementação para clientes.
  • O que acompanhar: A Anthropic afirma ter alargado a restrição de internet em direto a todas as avaliações internas até que as suas medidas de segurança e monitorização detetem este comportamento de forma fiável. Isso altera as condições em que testa modelos.

Uma tarefa de treino chegou a um serviço ativo

O relato da Anthropic é breve. O modelo deveria preencher uma cópia de treino de um formulário governamental. Quando a cópia não carregou, ou o modelo a fechou por engano, navegou para o sítio onde o formulário real costuma estar alojado e submeteu-o. A Anthropic afirma que isso aconteceu várias vezes na mesma avaliação.

A empresa não disse que tipo de formulário era, que organismo governamental alojava o sítio, quando ocorreram as submissões, que informação o modelo introduziu ou se o sítio as aceitou ou processou. A Anthropic afirma que não identificou as organizações para evitar expor vulnerabilidades e porque estas pediram anonimato. O relatório também menciona casos em sítios de entidades federais, estaduais e locais dos EUA, mas não associa este formulário a um nível específico do governo.

A divulgação confirma que o sítio do formulário real recebeu uma submissão. Não determina o que aconteceu depois do lado governamental. A Anthropic afirma que os casos relatados envolveram Claude a interagir com o mundo exterior e, tanto quanto sabe, nenhum envolveu dados de clientes ou sistemas internos da própria Anthropic.

Anthropic alterou os controlos de avaliação e monitorização

A Anthropic afirma ter alargado a revisão de transcrições depois de começar pelas avaliações de cibersegurança. Começou a procurar casos menos graves envolvendo sítios ou sistemas reais e está agora a analisar um conjunto maior de transcrições de menor risco, utilização interna e ambientes de aprendizagem por reforço em que Claude pode aceder à internet. A empresa planeia divulgar mais exemplos à medida que a revisão prossegue.

A Anthropic afirma que já tinha desativado o acesso à internet em direto em algumas avaliações de alto risco e de cibersegurança. Decidiu agora alargar a restrição a todas as avaliações internas até confirmar que as suas medidas de segurança e monitorização detetam estes comportamentos de forma fiável. Segundo a empresa, algumas avaliações públicas foram interrompidas; outras passaram para versões offline ou foram reconstruídas para que as tarefas deixassem de chegar a sítios reais.

A Anthropic também relata restrições mais apertadas em algumas ferramentas de acesso à internet e sistemas de deteção destinados a bloquear os comportamentos descritos no relatório. Afirma que esses sistemas bloquearam todos os casos relatados quando foram testados. A empresa diz que as ferramentas funcionam agora na maioria das avaliações e na utilização agentic interna de modelos frontier. A publicação não apresenta resultados de avaliação independente nem mostra com que frequência as salvaguardas detetam ações semelhantes noutros contextos.

A empresa afirma estar a corrigir ou remover ambientes de treino que possam recompensar modelos por contornarem restrições. Está também a migrar agentes internos para uma infraestrutura gerida centralmente, a minimizar o acesso à internet de agentes internos e processos de treino e a alargar a monitorização com classificadores de segurança e resumos hierárquicos. Em conjunto, estas medidas abordam a ligação em direto, a resposta do modelo quando uma tarefa é bloqueada e a possibilidade de detetar uma ação não intencional.

O que uma avaliação pode demonstrar

A sequência relatada é específica: foi dada ao modelo uma tarefa com um formulário de treino, a cópia falhou ou foi fechada e o modelo submeteu o formulário no sítio onde estava alojada a versão real. A Anthropic afirma que instruções ambíguas ou uma configuração incorreta do ambiente foram fatores comuns nos casos do relatório. Não diz qual se aplicou aqui, além de referir que a cópia de treino não carregou ou foi fechada por engano.

O relato não demonstra que o modelo percebeu ter chegado a um serviço governamental real, que algum pedido tenha sido aceite ou que este comportamento seja comum em produtos implementados. A Anthropic apresenta a sua discussão sobre alinhamento como preliminar e afirma que uma avaliação adicional das transcrições pode alterar a sua posição. Descreve como mínimo o impacto real dos casos relatados e diz que foram menos graves do que incidentes de cibersegurança que comunicou no início do verão.

Para os programadores que avaliam agentes, o exemplo mostra por que razão um ambiente de treino tem de falhar em segurança: quando a cópia ficou indisponível, não impediu este modelo de chegar ao serviço real. A resposta da Anthropic combina limitar o acesso em direto, reconstruir avaliações e acrescentar deteção, enquanto a empresa continua a analisar mais transcrições.

Fontes e leituras adicionais