在 SemiAnalysis 10 月 8 日的分析中,857 次发布有 31 次公布了安全结果,发布时可见的只有 9 次。 SemiAnalysis:10 月 8 日分析,SemiAnalysis 统计了 2021 年至 2026 年 9 月 15 日期间,9 家中国开发者的 857 次发布。31 次发布(3.6%)有已发表的安全结果。仅 9 次(1.1%)在模型发布时或之前已有结果。

这些数字描述的是研究人员能在开发者公开材料中找到的内容。它们没有说明有多少模型接受过私人测试,也不能说明任何特定模型是否安全。

重大变化

  • 变化内容: SemiAnalysis 为一组范围明确的发布记录中的文档缺口给出了数字:857 次发布中,只有 9 次在发布日或之前可查到针对该模型的安全结果。
  • 为何重要: 在发布时评估模型的人需要该版本的结果。笼统声称进行过测试,或在发布后才公布结果,都无法回答当时的问题。
  • 后续关注: 对后续发布而言,值得关注的是有日期、对应确切模型、并在用户首次获得访问权时即可查阅的结果。随着文件陆续发布,审计的披露比例可能变化,但后续公开不会改变发布当天可见的内容。

审计统计了什么

SemiAnalysis 称,其普查涵盖阿里巴巴、字节跳动、腾讯、百度、DeepSeek、月之暗面、智谱(Z.ai)、MiniMax 和阶跃星辰发布的 741 个产品模型版本及 116 个研究模型版本。研究为每次发布标注首次公开日期,随后检索开发者的模型卡、发布说明和技术报告,查找可与该版本对应的安全结果。

符合条件的结果必须针对具名模型提供定量或实质性发现。主题包括有害输出、抵御越狱、毒性、隐私、拒答行为和危险能力。只说模型接受过安全训练或评估、却没有公布发现的说法不算。研究人员也没有把某一旗舰模型的结果延伸到其他尺寸或后续快照。

严格的匹配规则使分母很重要。857 条记录是被统计的发布次数,其中包括变体,并不等于 857 个能力相同的前沿系统。SemiAnalysis 指出,各开发者对变体的命名详细程度不同。因此,这一统计适合考察这组发布的文档情况,不适合用来给单家公司排名。

结果何时公布

在 31 次有合格已发表结果的发布中,9 次在发布时或之前已有结果。另有 16 次后来才记录到结果;SemiAnalysis 报告该组的延迟中位数为 42 天。其余 6 次无法确定时间,或无法将结果对应到具体模型。这 6 次属于有某种已发表结果的 31 次,但不能计作发布当日披露。

其余情况也需要谨慎表述。SemiAnalysis 找到 10 次声称进行过评估、却没有数字的发布;另有 3 次只在媒体或投资者说法中出现,研究人员无法找到开发者文件。在所检查的材料中,813 次发布没有安全披露。这些组别与 31 次有结果的发布合计为 857 次。

另据 路透社对这项分析的报道 ,公司可能进行过私人测试。“未发现披露”是指在此处审查的公开记录中未发现相关内容。这不能证明测试没有发生;发表了测试也不能单独证明模型本身安全。SemiAnalysis 在这次审计中没有提供美国开发者可比的发布级比例。

对选择或评估模型的读者来说,实际做法很简单:确认确切版本,查找有日期且针对该模型的结果,再核实该结果在模型发布时是否已可获得。这类证据说明开发者公开了什么,也只是评估模型是否适合特定用途的一部分。

来源与延伸阅读