Anthropicは、非営利組織のMETRの職員6人に、AIリスクを評価するため社内システムへのアクセスを提供し始めたと説明した。小規模な外部チームは、モデルの一般公開やリスク報告書から得られる以上に、同社の業務を近くで見られることになる。ただし、チームがどの情報を受け取るかは引き続きAnthropicが管理し、METRが公開する分析から指定の資料を削除するよう求めることもできる。

Anthropicは10月15日にこの協力を発表し、10月16日に声明を更新した。現在の公開条件を明確にするためだ。この発表はアクセスの取り決めを説明するもので、METRによるAnthropicのリスク評価が完了したという話ではない。読者にとっての価値は、METRが何を調べられ、最終報告が制約について何を説明できるかによって決まる。

大きな変化

  • 何が変わったのか： Anthropicによると、METRの職員6人には同社のハードウェアとオフィススペースが提供され、自社のリスク評価チームとおおむね同程度の社内ツールへのアクセスがある。METRはAnthropicのリスク水準、インシデント、業務慣行に関する分析を公開する見込みだ。
  • なぜ重要なのか： 外部評価機関は、一般には見えない社内の証拠を調べられる可能性がある。METRの最終的な説明には、アクセスや情報削除に関する重要な制約も盛り込めるため、読者が結論を判断する助けになる。
  • 今後の注目点： AnthropicはMETRの公開を拒否できないと説明しているが、事前に定めた区分に基づいて情報削除を要求でき、何がその区分に当たるかも最終的には同社が判断する。この発表だけでは、社内に入る今回のチームによる評価結果は何も確定しない。

評価者6人は何にアクセスできるのか

AnthropicはMETRの職員6人を受け入れ、同社のハードウェア、オフィススペース、リスク評価チームと「おおむね同等」の社内ツール・システムへのアクセスを提供したと説明する。AIのアラインメントリスクに取り組む同僚に対するのと同じように、関連情報を彼らに共有するよう社員を促している。除外される区分の例には、顧客データ、弁護士と依頼人の秘匿特権で保護される情報、モデルのアーキテクチャを挙げる。関連性が非常に高い場合、明示的な社内承認を条件としてアーキテクチャ情報を共有することもあるという。

これは相当具体的なアクセスの説明だが、チームが実際に使ったすべてのデータセット、システム、インタビューの一覧ではない。Anthropicの声明によると、チームは法的に執行可能な契約に基づき活動し、他のAnthropicプロジェクトの研究者を含むほかのMETR職員は、その業務から隔離されている。BIG CHANGEは公開声明を確認したが、契約や社内システムを調査してはいない。

METRの10月14日の制御喪失リスク評価に関する提案は、最先端AIの開発企業からどのような証拠を得たいかを説明している。問いは3つある。社内のAIエージェントが深刻な害を及ぼす行動を取る可能性、監視がそれを発見して止められるか、AIによる研究が安全対策の進展を上回る速さで能力を伸ばし得るかだ。そのための証拠として、METRはモデルのチェックポイント、社内の会話記録、監視システム、研究進捗の指標への潜在的なアクセスを説明する。この文書は複数の開発企業に向けた提案であり、今回Anthropicが提供したものの一覧ではない。

公開の権利とその制約

Anthropicは、METRがリスク水準、インシデント、同社の業務慣行を分析して公開することに、Anthropicの拒否権はないと説明する。一方、事前に定めた区分の情報を削除するよう要求できる。10月16日の補足では、情報がその区分に当たるかはAnthropicが最終判断し、METRは得られたアクセスや情報について特定の説明をする権利を保持すると明確にした。したがって、結果を公開する権利と、機密性の高い詳細に対する同社の管理権が併存する。

METRのAI企業との協業方針は、報告書で作業の範囲と期間、結論に影響するアクセス制限、重要な情報削除、結果を左右し得る圧力を開示すべきだとしている。METRは、結論に重要な情報が企業によって削除された場合、削除内容の概要を作ることを目指すという。これらはMETRが示す実務と目標であり、新たに社内に入るチームの報告書でどう機能するかを、一般の人が確認することはまだできない。

METRは、自主的な評価が企業によるアクセス提供と公開許可に依存することも認める。企業はアクセスを拒んだり資料を削除したりして、一般に届く証拠に影響を与え得るという。10月14日の提案によると、この作業は技術的な制御喪失の問題に焦点を当て、セキュリティー、組織ガバナンス、コンプライアンスの監査にはならない。METRは、基礎となる科学はまだ、開発が安全だと確信を持って保証できる段階ではないと説明する。

Anthropicはほかの評価機関向けに3段階の方法を説明している。METRとの取り決めは3段階目で、社員に近いアクセスと公開権がある。前の段階では調査範囲が狭いか、公開権がより限定される。これらはAnthropicの計画と現在の協力条件であり、すべての提携先がMETRと同じアクセスを持つという証拠ではない。

この取り決めが一般から評価される材料はMETRの報告だ。どのリスクの問いを調べたか、どの社内証拠を検証できたか、どの制限や情報削除を説明できるかが問われる。現在の声明から確認できるのは、Anthropicが公表した条件とMETRが示した方針だ。Anthropicの安全性や、この社内で行う評価の有効性に関する結論は確定しない。

出典と参考資料