10月8日の分析でSemiAnalysisは、857件中31件に公表済みの安全性結果を確認したが、発売時までに結果があったのは9件だった 10月8日の分析で、SemiAnalysisは中国を拠点とする9社による2021年から2026年9月15日までの857件のリリースを集計した。公表された安全性結果があったのは31件（3.6%）。モデルの発売日以前または当日に結果を確認できたのは9件（1.1%）だけだった。

この数値は、研究者が開発者の公開資料で見つけられた内容を示す。非公開で試験されたモデルの数や、特定のモデルが安全かどうかを示すものではない。

大きな変化

  • 何が変わったか： SemiAnalysisは、対象を定めたリリース群にある文書化の不足を数値化した。857件中9件だけが、発売日までに一般の人が読めるモデル固有の安全性結果を備えていた。
  • なぜ重要か： 発売時にモデルを評価する人には、そのバージョンの結果が必要だ。試験を実施したという一般的な説明や、発売後に公表された結果では、その時点の同じ問いには答えられない。
  • 今後の注目点： 今後のリリースで有用な手掛かりとなるのは、日付があり、正確なモデルに結び付き、利用者が初めてアクセスできる時点で入手可能な結果だ。資料の公開に伴い監査の開示率は変わり得るが、後日の公開によって発売日に入手できた情報が変わることはない。

監査で数えた内容

SemiAnalysisによると、調査対象はAlibaba、ByteDance、Tencent、Baidu、DeepSeek、Moonshot、Zhipu（Z.ai）、MiniMax、StepFunの製品モデルのリリース741件と研究モデルのリリース116件だった。各リリースの初回公開日を定めたうえで、開発者のモデルカード、リリースノート、技術報告書を調べ、そのリリースに対応付けられる安全性結果を探した。

対象となる結果には、特定されたモデルに関する定量的または実質的な知見が必要だった。テーマには有害な出力、ジェイルブレイクへの耐性、毒性、プライバシー、拒否の振る舞い、危険な能力が含まれた。知見を示さずに安全性訓練や評価を受けたと述べるだけでは対象にならない。また、代表モデル1つの結果を別サイズや後続のスナップショットに広げることもなかった。

厳密な対応付けのルールがあるため、分母が重要になる。857件は変種を含む集計対象のリリースであり、能力が同等な最先端システム857個ではない。SemiAnalysisは、開発者によって変種の命名の詳しさが異なると指摘している。そのため、この数は対象リリース群の文書化を調べる手段であり、個々の企業を順位付けする確かな根拠ではない。

結果が公表された時期

条件を満たす公表結果があった31件のうち、9件では発売時またはそれ以前に結果が確認できた。16件は後から文書化され、SemiAnalysisはこの群の公表までの期間の中央値を42日と報告している。残る6件は、時期または特定モデルとの対応を研究者が確認できなかった。これらは何らかの結果が公表された31件には含まれるが、発売日の開示として数えることはできない。

残る事例についても慎重な表現が必要だ。SemiAnalysisは、評価したとの説明はあるが数値のないリリースを10件見つけた。また、報道や投資家の説明でのみ知られ、開発者の文書を取得できなかったものが3件あった。確認した資料では813件のリリースについて安全性の開示が見つからなかった。これらの群と結果のある31件を合わせると857件になる。

また、 この分析に関するReutersの報道 も、企業が非公開の試験を実施した可能性を強調している。「開示が見つからなかった」とは、ここで調べた公開記録についての説明だ。試験が行われなかった証明にはならず、公表された試験だけでモデルの本質的な安全性が確立するわけでもない。今回の監査でSemiAnalysisは、米国の開発者について比較可能なリリース単位の割合を示していない。

モデルを選んだり評価したりする読者にとって、実務上の区別は明快だ。正確なバージョンを特定し、日付付きのモデル固有の結果を探し、モデル発売時に利用可能だったかを確認する。その証拠が示すのは開発者が何を公開したかであり、特定の用途にモデルが適するかを判断する一部にすぎない。

出典と参考資料