У анализи од 8. октобра, SemiAnalysis је нашао објављене резултате безбедности за 31 од 857 издања; само девет их је имало при лансирању анализа од 8. октобра, SemiAnalysis је пребројао 857 издања девет програмера са седиштем у Кини од 2021. до 15. септембра 2026. Објављени резултат безбедности постојао је за 31 издање (3,6%). За само девет (1,1%) резултат је био доступан на дан лансирања модела или раније.

Бројке описују оно што су истраживачи могли да пронађу у јавним материјалима програмера. Не показују колико модела је тестирано приватно нити да ли је неки одређени модел безбедан.

Велика промена

  • Шта се променило: SemiAnalysis је измерио празнину у документацији у одређеном скупу издања: девет од 857 имало је резултат безбедности конкретног модела који је јавност могла да прочита до дана лансирања.
  • Зашто је важно: Особама које процењују модел при лансирању потребни су резултати за ту верзију. Општа тврдња да је тестирање обављено или резултат објављен после лансирања не одговара на исто питање у том тренутку.
  • Шта пратити: Код будућих издања користан показатељ је датиран резултат повезан са тачним моделом и доступан када корисници први пут добију приступ. Стопа објављивања у ревизији може да се мења кад се документи појаве, али каснија објава не мења оно што је било доступно на дан лансирања.

Шта је ревизија бројала

Према SemiAnalysis-у, попис је обухватио 741 издање модела за производе и 116 издања истраживачких модела компанија Alibaba, ByteDance, Tencent, Baidu, DeepSeek, Moonshot, Zhipu (Z.ai), MiniMax и StepFun. За свако издање одредили су први датум јавне доступности, а затим прегледали картице модела, белешке о издању и техничке извештаје програмера тражећи резултат безбедности који могу да повежу са тим издањем.

Прихватљив резултат морао је да садржи квантитативан или суштински налаз о именованом моделу. Теме су обухватале штетне излазе, отпорност на jailbreak, токсичност, приватност, понашање при одбијању и опасне способности. Тврдња да је модел обучен или оцењен за безбедност без наведеног налаза није се рачунала. Истраживачи нису преносили резултат једног водећег модела на друге величине или касније снимке.

Због строгог правила подударања, именилац је важан. 857 ставки су пребројана издања, укључујући варијанте, а не 857 система на фронтијеру једнаких способности. SemiAnalysis напомиње да програмери различито детаљно именују варијанте. Зато овај број служи за проучавање документације у овом скупу издања, а не као поуздана основа за рангирање појединачних компанија.

Када су се резултати појавили

Од 31 издања са објављеним резултатом који испуњава критеријуме, девет га је имало при лансирању или раније. Шеснаест је документовано касније; SemiAnalysis наводи медијално кашњење од 42 дана за ту групу. За преосталих шест, истраживачи нису могли да утврде време или везу са одређеним моделом. Та издања припадају групи од 31 са неким објављеним резултатом, али се не могу рачунати као објаве на дан лансирања.

И о преосталим случајевима треба пажљиво говорити. SemiAnalysis је нашао 10 издања са тврдњом да су оцењена, али без бројки, и три позната само из медијских или инвестиционих извештаја за која није могао да прибави документацију програмера. У прегледаним материјалима није нашао објаву безбедносних резултата за 813 издања. Те групе и 31 издање са резултатима заједно чине 857 издања.

И извештај Reuters-а о анализи наглашава да су компаније можда спровеле приватне тестове. „Није пронађена објава“ односи се на овде прегледану јавну евиденцију. То не доказује да тестирања није било, а објављен тест сам по себи не утврђује основну безбедност модела. SemiAnalysis у овој ревизији није дао упоредиву стопу по издању за америчке програмере.

За читаоца који бира или процењује модел, практична разлика је једноставна: утврдити тачну верзију, потражити датиран резултат специфичан за модел и проверити да ли је био доступан кад је модел објављен. Тај доказ показује шта је програмер учинио јавним. То је само један део процене модела за конкретну употребу.

Извори и додатна литература