Anthropic indique avoir commencé à donner à six salariés de l'organisme à but non lucratif METR accès à ses systèmes internes pour évaluer les risques de l'IA. Ce dispositif permet à une petite équipe extérieure d'observer le travail de l'entreprise de plus près que ne le permettraient la mise à disposition publique d'un modèle ou un rapport sur les risques. Anthropic contrôle toujours les informations reçues par l'équipe et peut exiger le retrait de certains éléments des analyses publiées par METR.

Anthropic a annoncé cette collaboration le 15 octobre et mis à jour sa déclaration le 16 octobre pour préciser les conditions de publication actuelles. L'annonce décrit un dispositif d'accès, pas une évaluation achevée par METR des risques d'Anthropic. Sa valeur pour les lecteurs dépendra de ce que METR peut examiner et de ce que son futur rapport pourra expliquer au sujet des limites rencontrées.

Le grand changement

  • Ce qui a changé : Anthropic indique que six salariés de METR disposent du matériel de l'entreprise, de bureaux et d'un accès aux outils internes à peu près comparable à celui de ses propres équipes d'évaluation des risques. METR devrait publier des analyses des niveaux de risque, des incidents ou des pratiques d'Anthropic.
  • Pourquoi c'est important : Un évaluateur extérieur pourrait examiner des éléments internes auxquels le public n'a pas accès. Le futur rapport de METR pourra aussi décrire des limites importantes concernant son accès et les suppressions d'informations, afin d'aider les lecteurs à apprécier ses conclusions.
  • À surveiller : Anthropic affirme ne pas pouvoir opposer de veto à la publication de METR, mais peut exiger des suppressions selon des catégories prédéfinies et décide en dernier ressort de ce qui en relève. L'annonce n'établit aucun résultat d'évaluation issu de ce dispositif d'équipe intégrée.

Ce à quoi les six évaluateurs peuvent accéder

Anthropic indique avoir accueilli six salariés de METR en leur fournissant du matériel, des bureaux et un accès aux outils et systèmes internes « à peu près équivalent » à celui de ses équipes d'évaluation des risques. Elle encourage son personnel à partager les informations utiles comme avec un collègue travaillant sur les risques d'alignement de l'IA. L'entreprise cite parmi les catégories exclues les données clients, les informations protégées par la confidentialité des échanges entre avocat et client, et les architectures des modèles. Elle précise que des informations d'architecture pourraient parfois être partagées si elles sont très pertinentes, sous réserve d'autorisations internes explicites.

C'est une description substantielle de l'accès, pas la liste de chaque jeu de données, système ou entretien réellement utilisé par l'équipe. La déclaration d'Anthropic précise que l'équipe travaille dans le cadre d'accords juridiquement exécutoires et que les autres salariés de METR, y compris les chercheurs sur d'autres projets d'Anthropic, sont tenus à l'écart de ce travail. BIG CHANGE a examiné les déclarations publiques ; nous n'avons inspecté ni l'accord ni les systèmes internes.

La proposition de METR du 14 octobre sur les évaluations de perte de contrôle explique quels éléments l'organisme souhaite obtenir des développeurs d'IA de pointe. Elle identifie trois questions : des agents d'IA internes pourraient-ils entreprendre des actions gravement nuisibles, la surveillance les détecterait-elle et les arrêterait-elle, et la recherche pilotée par l'IA pourrait-elle accélérer les capacités plus vite que les protections ne progressent ? Pour y répondre, METR décrit un accès potentiel aux checkpoints des modèles, aux transcriptions internes, aux systèmes de surveillance et aux mesures des progrès de la recherche. Ce document est une proposition destinée à plusieurs développeurs, pas un inventaire de ce qu'Anthropic a fourni dans cette collaboration.

Les droits de publication et leurs limites

Anthropic indique que METR peut publier des analyses des niveaux de risque, des incidents ou des pratiques de l'entreprise sans veto d'Anthropic. L'entreprise peut exiger la suppression d'informations relevant de catégories prédéfinies. La précision du 16 octobre ajoute qu'Anthropic décide en dernier ressort si des informations appartiennent à ces catégories, tandis que METR conserve le droit de faire certaines déclarations sur l'accès et les informations reçus. Le droit de publier des conclusions coexiste donc avec le contrôle de l'entreprise sur les détails sensibles.

La politique de METR concernant la collaboration avec les entreprises d'IA prévoit que les rapports présentent le périmètre et la durée du travail, les limites d'accès affectant les conclusions, les suppressions importantes et les pressions susceptibles de façonner le résultat. METR indique vouloir produire un résumé des suppressions lorsqu'une entreprise retire des informations importantes pour ses conclusions. Ce sont les pratiques et objectifs déclarés de METR ; le public ne peut pas encore vérifier leur application dans un rapport de cette nouvelle équipe intégrée.

METR reconnaît aussi que les évaluations volontaires dépendent de l'accès accordé par les entreprises et de leur autorisation de publier. Elle souligne que les entreprises peuvent refuser l'accès ou supprimer des éléments d'une manière qui influence les preuves reçues par le public. La proposition du 14 octobre précise que l'exercice porterait sur les questions techniques de perte de contrôle et ne constituerait pas un audit de sécurité, de gouvernance organisationnelle ou de conformité. Selon METR, la science sous-jacente ne permet pas encore d'affirmer avec confiance que le développement est sûr.

Anthropic décrit une approche à trois niveaux pour les autres évaluateurs. Le dispositif avec METR correspond au troisième niveau, avec un accès comparable à celui des salariés et des droits de publication. Les niveaux précédents proposent des enquêtes plus restreintes ou des droits de publication plus limités. Ces descriptions reflètent les projets d'Anthropic et les conditions de collaboration actuelles ; elles ne prouvent pas que tous les partenaires ont l'accès de METR.

Le test public de ce dispositif sera le travail publié par METR : quelles questions de risque elle a étudiées, quels éléments internes elle a pu examiner et quelles limites ou suppressions elle peut décrire. Les déclarations actuelles établissent les conditions annoncées par Anthropic et l'approche publiée par METR. Elles n'établissent aucune conclusion sur la sûreté d'Anthropic ni sur l'efficacité de l'évaluation intégrée.

Sources et lectures complémentaires