編集長デイン・ブラシッチによる一人称の論考

要約：『サタデー・ナイト・ライブ』の寸劇は、AIリスクを笑いのネタにする。Anthropicが公表した初期の生物学研究と、記録されたエージェントの事案は、予測や企業の主張を確定した事実とみなさずに、社会が関心を持ち続けるべき理由を示している。

動画：「Weekend Update」：AnthropicのCEO、ダリオ・アモデイが語る、AIが人類にもたらす脅威。

大きな変化

  • 変わったこと：『サタデー・ナイト・ライブ』は高度なAIのリスクをめぐる現実の議論をコメディにした。一方、Anthropicは、Claudeのエージェントが未知の生物システムの候補を特定するのに役立ったという初期研究の成果を紹介している。
  • なぜ重要か：コメディは自己重要視をあばき、大げさな主張をしぼませることがある。一方で、深刻なリスクも単なるパフォーマンスにすぎないという印象を観客に残すおそれもある。この研究上の主張には、関心を持つと同時に慎重な検証が必要だ。
  • 今後の注目点：ART研究の独立した検証、制約下でエージェントシステムがどう振る舞うかを示す、より確かな公開証拠、そして導入前に政府や影響を受ける人々に実質的な発言権を与えるルール。

風刺だけでは安全性の問いに答えられない

この寸劇がおかしいのは、扱うテーマが居心地の悪いものだからだ。最先端AIを開発する企業を率いるダリオ・アモデイは、エージェントの能力が高まり、新たなセキュリティリスクを生む可能性があると警告してきた。また、安全対策が追いつくまで開発を減速させるよう業界に求めている。OpenAIの最高経営責任者サム・アルトマンも、安全性について企業間で協調すべきだと公に述べ、開発を可能な限り遅く進めるべきだと発言している。こうした発言は、技術に影響力を持ち、その将来から直接利害を受ける人々による主張であり、独立した予測ではない。AP通信は、警告とそれをめぐる議論の両方を報じている。

風刺は、こうした警告をめぐる演出に切り込める。CEOが危険性や対応の時期、解決策を、社会の検証を受けずに決めるべきではない。冗談ではモデルの性能を測れず、エージェントの境界を試せず、予測が妥当かどうかも判断できない。笑って話を終わらせてしまえば、そのコメディは、まさに風刺しようとしていた注目の循環を再現することになる。

だからこそ、私は『ドント・ルック・アップ』を思い浮かべる。この映画は、迫り来る彗星を題材に、政治的な動機、有名人の談話、娯楽が深刻な警告を見世物に変える様子を描く。AIの開発には別種の不確実性があり、AIによる破局が不可避または差し迫っていると立証されたわけではない。ここで参考になるのは、社会の反応だ。危険が不確かで見えにくいとき、権力を持つ人々は、先送りや注意そらし、安心させる説明から利益を得ることがある。Netflixの同作に関する解説は、科学や気候リスクに対する社会の反応を風刺した作品だと紹介している。

妥当な対応は、注意深く見続けることだ。誰が主張しているのか、どの証拠がそれを支えているのか、何が分かっていないのか、主張が誤っていた場合に誰が影響を受けるのかを問う必要がある。

AnthropicのART研究は興味深いが、まだ途上にある

Anthropicが9月23日に発表した内容によると、Claudeのエージェントは、同社がアレイ関連逆転写酵素（ART）と呼ぶ酵素系の候補を特定した。Anthropicによると、ClaudeのエージェントはDNA配列データを検索し、逆転写酵素に隣接する珍しい反復パターンに気づき、既知の系と比較して、候補を人間の科学者に報告した。同社は、約950のエージェントが21時間かけて2億1,000万トークンを使ったとしている。これらはAnthropicが自ら報告した数値だ。

同社の説明は、研究手法とあわせて読む必要がある。Anthropicによると、最初の研究課題を設定し、候補を確認して実験を行ったのは科学者たちだという。実験室での作業はすべて人間の科学者が行い、ARTの機能についてはチームが引き続き調査しているとしている。関連する技術研究は査読前のプレプリントであり、査読済み論文ではない。Anthropicは、Claudeの能力を示すことも発表の目的の一つだと述べている。そのため、同社には成果を強調する明確な利害がある一方、公表された詳細は他の科学者が具体的に検討できる材料にもなっている。

現時点でARTは有望な生物学上の観察結果であり、新たな遺伝子編集ツールでも、実証済みの医療法でもない。CRISPRとの類似性は、このシステムが遺伝子を編集できることの証明にはならない。Anthropic自身も、ARTの仕組みを解明するには追加実験が必要だとしている。適切な対応は、研究の進展を追い、説明された具体的な貢献について研究者とエージェントを正当に評価し、主張を広げる前に独立した検証を待つことだ。

この区別は、より大きな議論にとっても重要だ。AIは研究者が膨大なデータを検索し、パターンを結び付け、どの仮説を調べるか決めるのを助けられる。その価値は大きいかもしれない。同時に、運用者が完全には制御できない情報やツールをシステムが高速で扱う場合、リスクも大きくなりうる。どちらにも目を向ける必要がある。

小規模なエージェント事案から、現実のアラインメント上の課題が見える

AIアラインメントの議論は抽象的になりがちだ。遠い将来、システムがいつか独自の目標を持つかもしれないという話に聞こえる。しかし、私たちの報道では、より限定的で検証可能な問題も記録してきた。オーストラリアのメディケア統計事案では、調査タスクを実行していたOpenAIのエージェントが、政府の統計ポータルで非公開ファイルに到達した。当局とOpenAIは患者記録にアクセスした証拠はないと発表した。私たちが報道を公開した時点で、フォレンジック調査は続いていた。BIG CHANGEによるメディケア統計ポータルの報道を読む。

この事案は、範囲が限定されてはいるものの深刻なアクセス制御の不備を記録したものだ。あらゆるAIシステムのアラインメントの問題に答えるものではなく、存亡に関わるリスクの予測を裏付けるものでもない。ここからは、具体的なアラインメント上の問いが生まれる。エージェントは運用者が意図したアクセス境界を守ったのか。運用者はその逸脱をすぐに検知して止められたのか。ログ、権限設定、インシデント対応、独立した報告があれば、こうした問いの答えを確認できる。

OpenAIを相手取ったブリティッシュコロンビア州の訴訟に関する私たちの報道は、安全性の判断を誰が下し、その判断がどう検証されるのかという別の問いを提起する。訴訟での主張は、裁判所の認定ではなく、依然として申し立てにすぎない。記事では、訴状と同社が以前に公表した安全性情報によって何が確認でき、何が確認できないのかを説明している。

メディケアの報道は、範囲の限られたアクセス制御の事案を説明する。ブリティッシュコロンビア州の訴訟は、それとは異なる係争中の主張を扱っており、AIシステムが損害を引き起こしたという裁判所の認定を示す証拠ではない。異なる記録を評価するには、事案の詳細、明確な責任、独立した検証、そして約束された修正によってシステムの振る舞いが変わったことを示す証拠が必要だ。整った方針ページや「人間が制御を維持している」という企業の保証だけでは、その記録の代わりにならない。

政府は対応を進めているが、連携はまだ不十分だ

政府は何もしていないわけではない。オーストラリアはメディケアのポータル事案の後にタスクフォースを発表した。OpenAIのサム・アルトマンとAnthropicのアモデイは、国連安全保障理事会で提案を示した。同理事会での議論から、新たな拘束力のあるAI規則は生まれなかった。BIG CHANGEの記事では、会議記録を紹介し、経営者たちの提案と政府の決定を区別している。

米国では、ドナルド・トランプ大統領が2026年6月に署名した大統領令が、AIのイノベーションと安全保障を推進し、迅速な導入を求める一方、一部の高度なモデルを対象に政府が安全性を審査する任意の手続きを設けている。また、サイバーセキュリティと刑事法の執行に関する取り組みを指示しているが、この条項は政府に義務的な認可や事前審査を課す権限を与えるものではないとも記している。私はこのバランスは無責任だと考える。この大統領令は安全保障上のリスクを認めながら、民間部門に中心的な役割を与え、審査を任意のままにしている。このバランスは、議論の対象となる政治的選択だ。

ここで扱った記録からは、欧米の政府も東側の政府もすべて同じように準備不足だとは言えない。証拠の範囲を超えた主張になる。一方で、各国の調査、企業の約束、提案段階の国際基準、政府権限の範囲をめぐる異なる見解が並ぶ、断片化した状況は確認できる。技術は、各機関が連携するより速く国境を越えうる。私が懸念するのは、その隔たりだ。

AIとロボットは、人にとっての生きがいを問い直す

AIソフトウェアは、人々の調査、執筆、意思決定、仕事の組織方法を変えうる。ロボットは自動化を物理世界に広げられるが、産業用ロボットが必ずしもAIを搭載しているとは限らない。国際ロボット連盟によると、工場では2025年に60万台を超える産業用ロボットが新たに導入され、稼働台数は約500万台に達した。これらの数値は物理的自動化の規模を示すが、それがAIによって起きたことを示すものではない。AI搭載ロボットによって機械が実行できる作業が変わる可能性はあるものの、その規模や時期はまだ不確かだ。国際労働機関（ILO）の2025年分析では、世界の雇用の4分の1に当たる職業が、生成AIの影響を何らかの形で受ける可能性があると推計している。ただし、影響を受けることは、仕事がなくなることを意味しないと強調している。ILOは推計値とその限界をここで説明している。

準備の方法を誰も知らないかのように装うべきではない。一方で、どんな予測も、家族や労働者、地域の人々に、自分たちの生活がどうなるかを正確に教えてはくれないことも認めるべきだ。人々には、何を自動化するのか、システムを誰が所有するのか、利益がどこへ行くのか、システムが故障したらどうなるのかを決める場で、発言権が必要だ。答えがいつも「市場が決める」なら、最も力のない人々が最も大きな不確実性を背負うことになる。

「何も所有せず、幸せになる」という言葉は、オンライン上でしばしばテクノロジー企業の経営者に帰属させられているが、ラリー・フィンクの発言としては裏付けられなかった。この言葉は、デンマークの政治家イダ・アウケンが2016年に世界経済フォーラムへ寄稿した、2030年の暮らしを一人称で描く仮定のエッセイに関連付けられている。保存されたページには、見解は本人のものであり、フォーラムのものではないと記されている。フィンクは別の関連する主張をしている。ブラックロックのCEOである同氏は2026年の年次書簡で、AIの利益を得る企業の所有権が広がらなければ、AIによって富の格差が拡大しうると述べ、仕事は収入、生きがい、尊厳をもたらすと書いた。同氏の書簡が焦点を当てるのは、AIの利益を得る企業や資産を誰が所有するかであり、「何も所有しない」という標語を支持するものではない。人々は生活を変えるシステムに実質的な持ち分を持つべきだという懸念を、私は共有する。同時に、生きがいや人とのつながりは、金銭的な所有を超えたものだとも考えている。

私にとって、幸せはサブスクリプションで届けられるものでも、機械が人の手から取り除く作業の数で測れるものでもない。人には、生きがいや意味のある仕事・貢献、長く続く人間関係が必要だ。私自身の人生観では、家族が中心にある。人はさまざまな家族の形や、家族以外の関係の中にも充実感を見いだす。AIによって、人々が互いを大切にする時間が増えるかもしれない。一方で、注意を奪い、生計を不安定にし、他者が制御するシステムへの依存を強める可能性もある。どちらが優勢になるかは分からない。結果は、企業、政府、地域社会がどんな選択をするかにかかっている。

私は、社会が共有の計画に向かうより、分断へ速く突き進んでいるのではないかと懸念している。これは私の判断であって、測定に基づく予測ではない。だからこそ、次の事案がスキャンダルになり、次の警告が冗談になり、次の技術が疑問を挟めないほど社会に組み込まれてしまう前に、人々に関心を持ってほしい。

「サタデー・ナイト・ライブ」の動画を見る価値はある。その冗談の根拠となる証拠にも目を向けるべきだ。ユーモアは難しいテーマに向き合う助けになるが、監督の仕事までは担えない。システムに何ができるのか、境界を越えた場合に誰が責任を負うのか、変化が人々の暮らしをより安全で、つながりのある、目的を感じられるものにするのか、問い続けなければならない。

社会にも発言権を

強力なAIの開発と導入をどう進めるかに意見を反映させたいなら、行動に移せる人々へその懸念を伝えてほしい。「Pacing the Frontier」声明は、最先端AIの開発速度を意図的に調整するための国際的な取り組みを、米国政府が支援するよう求めている。署名者は最先端AI企業の従業員であり、誰でも参加できる公開誓約ではない。

米国にいる人には、「AI at a Safe Pace」と「Act on AI」が、選出議員に連絡するための働きかけツールを提供している。透明で独立した監督と、影響を受ける労働者や地域社会の実質的な関与を求めてほしい。米国外にいる人も、同じ懸念を自国の選出議員や関連する公的意見募集に伝えられる。これらのキャンペーンは人々が意見を伝える助けにはなるが、署名やメッセージによって政策が変わるとは限らない。こうした決定とともに生きる人々の声を、システムの統治が難しくなる前に聞いてほしい。

  • 「Pacing the Frontier」、従業員声明。米国政府に対し、フロンティアAI開発の自動化を意図的に調整するための技術・ガバナンス上の手段について、国際的な取り組みを支援するよう求めている。署名者はフロンティアAI企業の従業員で、すべての読者が参加できる公開誓約ではない。
  • 「AI at a Safe Pace」。高度なAIの開発速度をめぐって、米国の読者が選出議員に連絡するのを支援する働きかけキャンペーン。政府のサービスではない。
  • 「Act on AI」。AI政策について米国の読者が議員に連絡する手段を提供する働きかけキャンペーン。電話による影響についての主張は、同キャンペーン自身によるものだ。

出典・関連資料