Vercel 9 月發布的 AI Gateway 報告指出，開放權重模型處理了 8 月經其 Gateway 路由的 token 量之 56%，估計支出占比則為 14%。這種落差顯示，使用量與模型預算可能呈現不同面貌。這只是單一 Gateway 流量的快照，並非整體 AI 市場或客戶實際帳單的衡量結果。

在第 290 集約 20:03 處的All-In Podcast中，與談者討論開放權重模型與高階模型的推出速度，並主張可下載模型能力提升有助擴大使用機會。這是與談者的解讀。另一項範圍較窄的數據來自 Vercel 的9 月《AI Gateway Production Index》，該報告提供截至 8 月的流量數據。

核心變化

  • 有哪些改變：在 Vercel AI Gateway 上，開放權重模型的 token 占比從 12 月時的少數增加到 8 月的 56%，同時只占 8 月依公布牌價估算支出的 14%。
  • 為何重要：選擇模型的團隊應分開看待 token 需求與支出，再依實際任務比較品質和完整營運成本。此指數沒有提供個別團隊的任務結果或節省金額。
  • 後續觀察重點：實務上的問題是，所選模型能否在完整成本下符合團隊對品質、延遲、隱私與營運的要求。token 占比本身無法回答這個問題；授權條款、硬體和工程時間也都很重要。

56% 與 14% 衡量的是什麼

Vercel 表示，開放權重模型處理了 8 月經 AI Gateway 路由的 56% token，首次占該 Gateway 流量過半，估計支出占比則為 14%。該公司的圖表顯示，占比從 4 月的 13% 上升到 8 月的 56%。報告日期為 9 月 17 日，使用截至 8 月的資料。

這種落差不代表執行模型不花錢。即使權重可供下載，仍需要運算資源、電力和營運管理。依照四捨五入後的占比估算，在此資料集中，開放權重組每個 token 的平均估計支出約為其他模型的八分之一。計算方式是：Vercel 數據中的 14% 支出除以 56% token，再與其餘模型 86% 支出除以 44% token 比較。這是不同模型與 token 類型的平均值，並非任何特定模型的價格或能力指標。

該指數計入輸入、輸出、推理、快取輸入及建立快取的 token。這些類型的價格可能不同，因此各組平均值也會反映使用者輸入及生成的內容。Vercel 依模型實驗室公布的牌價估算支出，並表示實際帳單可能不同。這種方式讓公司得以比較使用者自行提供供應商金鑰的流量，但不是帳單稽核，也不是自行託管模型的運算成本測量。

報告也指出，8 月 Gateway 整體每個 token 的平均估計價格下降 23.2%。在 7 月與 8 月各自都使用超過 1,000 萬個 token 的團隊中，團隊估計每 token 價格的中位數下降 7.6%。Vercel 將部分降幅歸因於開放權重模型使用量增加。報告沒有區分變化有多少來自這項轉變、有多少來自 token 組成差異，或團隊更換模型與工作負載。

單一 Gateway 並不代表整個市場

該指數是經 Vercel AI Gateway 路由的匿名彙總流量。它呈現經過該服務的真實正式環境請求，比模型排行榜或發布公告更具體。但報告無法證明其客戶代表所有 AI 使用者，也未揭露更廣泛市場的抽樣框架，或展示未使用 Gateway 的工作負載採用情形。因此，這些百分比應解讀為 Vercel Gateway 的模型組成。

Vercel 也指出，其開放權重分類依據目前的 AI Gateway 模型清單，範圍比早期報告採用的定義更廣。隨著 Vercel 修訂方法並收到更完整資料，早期數據可能改變。月對月的趨勢仍有參考價值，但報告本身也提醒，分類界線已經變動。

「開放權重」也不等於「開源」。模型權重是可發布供下載的學習後數值參數。Open Source Initiative 的《Open Source AI Definition 1.0》採用更廣泛的標準：定義要求有使用、研究、修改及分享 AI 系統的自由，並將訓練資料資訊、程式碼和模型參數列為便於修改的形式所需內容。可下載的檢查點仍可能附帶授權限制，或未提供訓練程式碼和資料細節。團隊需要逐一檢查模型的實際授權與發布資料。

這種落差對 AI 採購者代表什麼

Vercel 的數據支持一項範圍有限的結論：在這個 Gateway 上，開放權重模型承載了較多 token 流量，但其牌價估算支出占比較低。數據沒有顯示相同工作負載改在本機伺服器執行就會更便宜，也無法證明低成本模型不降低品質、速度或可靠度就能取代高階模型。

對產品團隊而言，相關比較應看完成同一任務並達到相同驗收標準的成本。這包括輸入與輸出量、重試、工具、路由、延遲和任何人工審查，再比較供應商帳單與直接執行模型權重所需的硬體及營運成本。9 月指數沒有提供這類逐項任務比較。它的價值在於指出，開放權重模型如今在單一正式環境 Gateway 中已占相當使用量，但支出組成仍集中於其他模型。

All-In 與談者關於模型可用性正在擴大的廣泛說法，可以用這類使用量證據檢視；但 Vercel 指數既未驗證討論中提出的每一項模型說法，也無法預測未來採用趨勢。現階段有用的區分是：某類模型處理多少 token、供應商估計向其收取多少費用，以及團隊取得可靠結果的實際成本。

資料來源與延伸閱讀