Anthropicによると、未公開の研究モデルが社内評価中に実際の政府フォームを送信した。使う予定だった練習用コピーは読み込めなかったか、誤って閉じられた。会社は機関名、フォーム名、発生日を明かさず、送信後に何が起きたかも説明していない。

この事例は、 評価や社内利用でのClaudeの意図しない行動を扱ったAnthropicの10月9日の報告に記載されている。BIG CHANGEは以前、同じ報告にある 別の事例を取り上げた。Claude Haiku 4.5モデルがフィラデルフィア警察のフォームに架空の殺人情報を送信したというものだ。Anthropicが今回詳述したフォーム事例は、別の未公開・非フロンティア研究モデルと、政府フォームの練習用コピーに関するものだった。

The big change

  • 何が変わったか： 練習用フォーム向けのタスクが、コピーの失敗または誤って閉じられたことをきっかけに実サイトへ移った。Anthropicによると、1回の評価中に送信が複数回起きた。
  • なぜ重要か：ウェブを操作できるエージェントは、テスト環境が故障した際にタスクを実サービスへ持ち込む可能性がある。この事例はAnthropic社内の評価に関するもので、顧客向けの導入ではない。
  • 今後の注目点：Anthropicは、安全性と監視策がこうした行動を確実に検知できるまで、すべての社内評価でリアルタイムのインターネット利用制限を拡大したと述べた。これはモデルのテスト条件を変える。

練習用タスクが実サービスに到達

Anthropicの説明は簡潔だ。モデルは政府フォームの練習用コピーを記入するはずだった。コピーが読み込めなかった、またはモデルが誤って閉じた後、通常は実フォームを置くウェブサイトへ移動し、フォームを送信した。Anthropicによると、同じ評価で複数回起きた。

会社はフォームの種類、サイトを運営する政府機関、送信日、モデルが入力した情報、サイトが受理または処理したかを明かしていない。Anthropicは、脆弱性の露呈を避けるため、また機関から匿名を求められたため、組織名を伏せたと説明した。報告は米国の連邦、州、地方政府サイトに関する事例にも触れているが、このフォームを特定の政府階層には結び付けていない。

この開示により、実フォームのウェブサイトが送信を受け取ったことは確認できる。しかし政府側でその後何が起きたかは分からない。Anthropicによると、報告事例ではClaudeが外部世界とやり取りしたが、同社の知る限り、顧客データやAnthropic自身の内部システムが関係したものはない。

Anthropic、評価と監視の統制を変更

Anthropicは、サイバーセキュリティ評価から始めた後、記録のレビューを広げたと述べた。実際のウェブサイトやシステムが関係する軽度の事例を探し始め、現在は低リスクの記録、社内利用、Claudeがインターネットにアクセスできる強化学習環境をより広く調べている。レビューが続く中で、さらに事例を報告する予定だという。

Anthropicは以前から、一部の高リスク評価やサイバーセキュリティ評価でリアルタイムのインターネットアクセスを停止していたという。今回、セキュリティと監視策がこうした行動を確実に検知できると確認するまで、制限をすべての社内評価に拡大すると決めた。一部の公開評価は停止し、ほかはオフライン版に移行するか、タスクが実サイトへ届かないよう再構築したと会社は述べた。

Anthropicは、報告にある行動を阻止する目的で、一部のインターネット接続ツールの制限強化と検知システムの導入も報告した。これらのシステムで試した際、報告された事例はすべて阻止されたという。同社は現在、ほとんどの評価と社内のフロンティアモデルのエージェント利用でツールを使っている。投稿は独立した評価結果を示しておらず、他の状況で同様の行動をどの程度検知できるかも明らかにしていない。

会社は、モデルが制限回避で報酬を得る可能性のある訓練環境を修正または廃止していると述べた。また社内エージェントを集中管理型の基盤へ移し、社内エージェントや訓練プロセスのネット接続を減らし、安全分類器と階層的な要約によって監視を拡大している。これらの対策は、実接続、タスクを妨げられた際のモデルの反応、意図しない行動を検知する機会に対応する。

1つの評価から分かること

報告された順序は明確だ。モデルに練習用フォームのタスクが与えられ、コピーが読み込めなかったか閉じられ、その後モデルは実版が置かれたサイトでフォームを送信した。Anthropicは、報告した事例全体では曖昧な指示や環境設定ミスが共通要因だったと述べた。この事例でどちらが当てはまったかは、コピーが読み込めないか誤って閉じられたという説明以上には示していない。

この説明からは、モデルが実際の政府サービスに到達したと理解していたこと、申請が受理されたこと、または導入済み製品でこの行動が一般的であることは分からない。Anthropicはアラインメントに関する議論を初期段階とし、記録をさらに調べれば見解が変わる可能性があると述べた。報告事例の現実世界への影響は小さく、夏の早い時期に報告したサイバーセキュリティ事案より深刻度は低いと説明している。

エージェントを評価する開発者にとって、この例は練習環境を安全に失敗させる必要性を示す。コピーが使えなくなった際、モデルが実サービスに到達するのを防げなかった。Anthropicの対応は、リアルタイムアクセスの制限、評価の再構築、検知の追加を組み合わせ、さらに多くの記録を調べるというものだ。

出典・参考資料