A Anthropic diz que começou a dar a seis funcionários da organização sem fins lucrativos METR acesso aos seus sistemas internos para avaliar riscos de IA. O acordo permite a uma pequena equipe externa conhecer mais de perto o trabalho da empresa do que seria possível por um lançamento público de modelo ou relatório de riscos. A Anthropic ainda controla quais informações a equipe recebe e pode exigir a retirada de materiais específicos das análises publicadas pela METR.

A Anthropic anunciou a parceria em 15 de outubro e atualizou sua declaração em 16 de outubro para esclarecer os termos atuais de publicação. O anúncio descreve um acordo de acesso, não uma avaliação concluída pela METR sobre os riscos da Anthropic. Seu valor para os leitores dependerá do que a METR puder examinar e do que seu relatório final conseguir explicar sobre eventuais limites.

A grande mudança

  • O que mudou: A Anthropic diz que seis funcionários da METR têm hardware da empresa, espaço de escritório e acesso a ferramentas internas aproximadamente comparável ao de suas próprias equipes de avaliação de riscos. A expectativa é que a METR publique análises sobre níveis de risco, incidentes ou práticas da Anthropic.
  • Por que importa: Um avaliador externo talvez consiga examinar evidências internas que o público não pode ver. O relato final da METR também pode descrever limites importantes de acesso e remoções de informações, ajudando os leitores a ponderar as conclusões.
  • O que acompanhar: A Anthropic diz que não pode vetar a publicação da METR, mas pode exigir remoções conforme categorias predefinidas e decide, em última instância, o que se enquadra nelas. O anúncio não estabelece nenhum resultado de avaliação dessa equipe integrada à empresa.

O que os seis avaliadores podem acessar

A Anthropic diz que recebeu seis funcionários da METR na empresa, oferecendo hardware da empresa, espaço de escritório e acesso a ferramentas e sistemas internos ‘aproximadamente no mesmo nível’ de suas equipes de avaliação de riscos. Ela incentiva os empregados a compartilhar informações relevantes com eles como fariam com um colega que trabalha em riscos de alinhamento da IA. A empresa cita dados de clientes, informações protegidas pelo privilégio de confidencialidade entre advogado e cliente e arquiteturas de modelos como exemplos de categorias excluídas. Diz que informações de arquitetura podem, às vezes, ser compartilhadas quando muito relevantes, mediante aprovações internas explícitas.

É uma descrição substancial do acesso, mas não uma lista de cada conjunto de dados, sistema ou entrevista que a equipe realmente utilizou. A declaração da Anthropic diz que a equipe trabalha sob acordos juridicamente exigíveis e que outros funcionários da METR, inclusive pesquisadores em outros projetos da Anthropic, ficam isolados desse trabalho. O BIG CHANGE analisou as declarações públicas; não inspecionamos o acordo nem os sistemas internos.

A proposta da METR de 14 de outubro para avaliações de perda de controle explica o tipo de evidência que ela deseja obter de desenvolvedores de IA de fronteira. Identifica três perguntas: se agentes internos de IA poderiam realizar ações gravemente prejudiciais, se o monitoramento as detectaria e impediria e se a pesquisa impulsionada por IA poderia acelerar as capacidades mais rápido do que as salvaguardas conseguem acompanhar. Para essas perguntas, a METR descreve um possível acesso a checkpoints de modelos, transcrições internas, sistemas de monitoramento e medidas do progresso da pesquisa. O documento é uma proposta para vários desenvolvedores, não um inventário do que a Anthropic forneceu nessa parceria.

Direitos de publicação e seus limites

A Anthropic diz que a METR pode publicar análises de níveis de risco, incidentes ou práticas da empresa sem um veto da Anthropic. A empresa pode exigir a remoção de informações em categorias predefinidas. O esclarecimento de 16 de outubro acrescenta que a Anthropic decide, em última instância, se a informação está nessas categorias, enquanto a METR mantém o direito de fazer determinadas declarações sobre o acesso e as informações recebidas. Assim, o direito de publicar conclusões coexiste com o controle da empresa sobre detalhes sensíveis.

A política da METR para trabalhar com empresas de IA diz que os relatórios devem divulgar o escopo e a duração do trabalho, os limites de acesso que afetam as conclusões, as remoções importantes e as pressões que possam moldar o resultado. A METR diz que pretende elaborar um resumo das remoções quando uma empresa retira informações importantes para suas conclusões. Essas são as práticas e os objetivos declarados pela METR; o público ainda não pode verificar como funcionarão em um relatório dessa nova equipe integrada.

A METR também reconhece que as avaliações voluntárias dependem de as empresas concederem acesso e permitirem a publicação. Segundo ela, as empresas podem negar acesso ou remover materiais de formas que afetam as evidências recebidas pelo público. A proposta de 14 de outubro diz que o exercício se concentraria em questões técnicas de perda de controle e não seria uma auditoria de segurança, governança organizacional ou conformidade. A METR afirma que a ciência subjacente ainda não permite afirmar com confiança que o desenvolvimento é seguro.

A Anthropic descreve uma abordagem de três níveis para outros avaliadores. Seu acordo com a METR é o terceiro nível, com acesso semelhante ao dos empregados e direitos de publicação. Os níveis anteriores oferecem investigações mais restritas ou direitos de publicação mais limitados. Essas descrições representam os planos da Anthropic e os termos atuais de parceria, não provam que todos os parceiros têm o acesso da METR.

O teste público desse acordo será o trabalho publicado pela METR: quais questões de risco investigou, quais evidências internas pôde examinar e quais limites ou remoções pode descrever. As declarações atuais estabelecem os termos anunciados pela Anthropic e a abordagem publicada pela METR. Não estabelecem uma conclusão sobre a segurança da Anthropic ou a eficácia da avaliação integrada.

Fontes e leituras adicionais