A Anthropic afirma que começou a dar a seis trabalhadores da organização sem fins lucrativos METR acesso aos seus sistemas internos para avaliar riscos de IA. Este acordo permite a uma pequena equipa externa conhecer mais de perto o trabalho da empresa do que uma disponibilização pública de um modelo ou um relatório de riscos. A Anthropic continua a controlar a informação que a equipa recebe e pode exigir a remoção de determinados conteúdos das análises publicadas pela METR.

A Anthropic anunciou a colaboração a 15 de outubro e atualizou a sua declaração a 16 de outubro para esclarecer as atuais condições de publicação. O anúncio descreve um acordo de acesso, não uma avaliação concluída pela METR aos riscos da Anthropic. O seu valor para os leitores dependerá do que a METR puder examinar e do que o relatório final conseguir explicar sobre eventuais limites.

A grande mudança

  • O que mudou: A Anthropic afirma que seis trabalhadores da METR dispõem de equipamento da empresa, espaço de escritório e acesso a ferramentas internas aproximadamente comparável ao das suas próprias equipas de avaliação de riscos. Espera-se que a METR publique análises aos níveis de risco, incidentes ou práticas da Anthropic.
  • Porque é importante: Uma entidade avaliadora externa poderá examinar provas internas que o público não consegue ver. O futuro relato da METR poderá também descrever limites relevantes ao acesso e à supressão de informação, ajudando os leitores a ponderar as conclusões.
  • O que acompanhar: A Anthropic afirma que não pode vetar a publicação da METR, mas pode exigir supressões segundo categorias previamente definidas e decide, em última instância, o que nelas se enquadra. O anúncio não estabelece qualquer resultado de avaliação deste regime de integração da equipa.

A que podem aceder os seis avaliadores

A Anthropic afirma que integrou seis trabalhadores da METR, disponibilizando equipamento da empresa, espaço de escritório e acesso a ferramentas e sistemas internos «aproximadamente ao nível» das suas equipas de avaliação de riscos. Incentiva os trabalhadores a partilhar informação relevante com eles como fariam com um colega que estudasse riscos de alinhamento da IA. A empresa dá como exemplos de categorias excluídas os dados de clientes, a informação protegida pelo sigilo da relação entre advogado e cliente e as arquiteturas dos modelos. Diz que a informação sobre arquitetura pode, por vezes, ser partilhada quando for muito relevante, mediante aprovações internas explícitas.

É uma descrição substancial do acesso, mas não uma lista de todos os conjuntos de dados, sistemas ou entrevistas que a equipa efetivamente utilizou. A declaração da Anthropic diz que a equipa opera ao abrigo de acordos juridicamente executórios e que os restantes trabalhadores da METR, incluindo investigadores noutros projetos da Anthropic, estão isolados deste trabalho. O BIG CHANGE analisou as declarações públicas; não inspecionámos o acordo nem os sistemas internos.

A proposta da METR de 14 de outubro para avaliações de perda de controlo explica o tipo de provas que pretende obter dos criadores de IA de fronteira. Identifica três questões: se os agentes internos de IA poderão realizar ações gravemente prejudiciais, se a monitorização as detetaria e impediria e se a investigação impulsionada por IA poderá acelerar as capacidades mais depressa do que as salvaguardas conseguem acompanhar. Para essas questões, a METR descreve um possível acesso a checkpoints de modelos, transcrições internas, sistemas de monitorização e medidas do progresso da investigação. O documento é uma proposta dirigida a vários criadores, não um inventário do que a Anthropic forneceu nesta colaboração.

Direitos de publicação e os seus limites

A Anthropic afirma que a METR pode publicar análises aos níveis de risco, incidentes ou práticas da empresa sem veto da Anthropic. A empresa pode exigir a supressão de informação de categorias predefinidas. O esclarecimento de 16 de outubro acrescenta que a Anthropic decide, em última instância, se a informação pertence a essas categorias, enquanto a METR reserva o direito de fazer determinadas declarações sobre o acesso e a informação que recebeu. O direito de publicar conclusões coexiste, assim, com o controlo da empresa sobre pormenores sensíveis.

A política da METR para trabalhar com empresas de IA diz que os relatórios devem divulgar o âmbito e a duração do trabalho, os limites de acesso que afetam as conclusões, as supressões importantes e as pressões que possam influenciar o resultado. A METR diz que procura elaborar um resumo das supressões quando uma empresa retira informação importante para as suas conclusões. Estas são as práticas e os objetivos declarados pela METR; o público ainda não pode verificar como funcionarão num relatório desta nova equipa integrada.

A METR reconhece também que as avaliações voluntárias dependem de as empresas concederem acesso e permitirem a publicação. Afirma que podem recusar acesso ou suprimir material de formas que afetam as provas recebidas pelo público. A proposta de 14 de outubro diz que o exercício se centraria em questões técnicas de perda de controlo e não constituiria uma auditoria de segurança, governação organizacional ou conformidade. A METR afirma que a ciência subjacente ainda não permite garantir com confiança que o desenvolvimento é seguro.

A Anthropic descreve uma abordagem de três níveis para outras entidades avaliadoras. O acordo com a METR corresponde ao terceiro nível, com acesso semelhante ao dos trabalhadores e direitos de publicação. Os níveis anteriores oferecem investigações mais limitadas ou direitos de publicação mais restritos. Estas descrições refletem os planos da Anthropic e as condições atuais da colaboração, não provam que todos os parceiros tenham o acesso da METR.

O teste público deste acordo será o trabalho publicado pela METR: que questões de risco investigou, que provas internas pôde examinar e que limites ou supressões consegue descrever. As declarações atuais estabelecem as condições anunciadas pela Anthropic e a abordagem publicada pela METR. Não estabelecem uma conclusão sobre a segurança da Anthropic ou a eficácia da avaliação integrada.

Fontes e leituras adicionais