SemiAnalysis 在 10 月 8 日的分析中,於 857 次發布中找到 31 次已公開安全結果;推出時已有結果的只有 9 次 10 月 8 日分析,SemiAnalysis 統計了中國九家開發者在 2021 年至 2026 年 9 月 15 日間的 857 次發布。31 次發布(3.6%)有已公開安全結果。只有 9 次(1.1%)在模型推出當日或之前已有結果。

這些數字描述研究人員在開發者公開資料中找到的內容。它們沒有顯示有多少模型曾接受私人測試,也無法說明任何特定模型是否安全。

重大變化

  • 變化內容: SemiAnalysis 為特定發布範圍中的文件缺口量化:857 次中有 9 次在推出當日之前,已有大眾可閱讀的模型專屬安全結果。
  • 重要之處: 在發布時評估模型的人需要該版本的結果。籠統保證曾進行測試,或發布後才公布的結果,都無法在當時回答同一個問題。
  • 後續觀察: 後續發布時,有用的訊號是附有日期、對應確切模型,且使用者首次取得存取權時即可查看的結果。隨著文件出現,稽核的揭露率可能改變,但日後公開不會改變推出當日可取得的內容。

稽核統計了什麼

SemiAnalysis 表示,普查涵蓋 Alibaba、ByteDance、Tencent、Baidu、DeepSeek、Moonshot、Zhipu(Z.ai)、MiniMax 與 StepFun 的 741 次產品模型發布及 116 次研究模型發布。研究人員為每次發布標出首次公開日期,再查閱開發者的模型卡、發布說明與技術報告,尋找可與該發布對應的安全結果。

合格結果必須對具名模型提供量化或實質發現。主題包括有害輸出、抵抗 jailbreak、毒性、隱私、拒絕行為與危險能力。只說模型接受過安全訓練或評估、卻沒有提出發現,不符合條件。研究人員也沒有把某個旗艦模型的結果延伸至其他尺寸或後續快照。

嚴格的對應規則使分母很重要。857 筆是計入的發布次數,包含不同變體,並非 857 個能力相當的前沿系統。SemiAnalysis 指出,各開發者對變體命名的詳細程度不同。因此,這個數量可用來檢視此發布集合的文件狀況,不能作為可靠的個別公司排名依據。

結果何時出現

在 31 次有合格已公開結果的發布中,9 次在發布當時或之前已有結果。另有 16 次在之後才有文件記錄;SemiAnalysis 報告該組的延遲中位數為 42 天。其餘 6 次無法確認時間,或無法對應至特定模型。這 6 次屬於 31 次有某種已公開結果的發布,但不能算作推出當日揭露。

描述其他案例時也需要謹慎。SemiAnalysis 找到 10 次發布有評估聲明、但沒有數字;另外 3 次只在媒體或投資者說法中出現,研究人員無法取得開發者文件。在檢查的資料中,有 813 次發布沒有安全揭露。這些組別加上 31 次有結果的發布,合計 857 次。

而 Reuters 對該分析的報導 也強調公司可能曾進行私人測試。「未找到揭露」是指此處檢查的公開紀錄。這不能證明沒有進行測試;已公開的測試本身也不能證明模型的根本安全性。SemiAnalysis 在這項稽核中沒有提供美國開發者可比較的發布層級比率。

對選擇或評估模型的讀者來說,實際做法很簡單:確認確切版本,尋找附日期且專屬該模型的結果,再查看模型推出時是否已可取得。這類證據說明開發者公開了什麼,只是評估模型是否適用於特定用途的一部分。

來源與延伸閱讀