在9 月 23 日的 Fellows Forum上，OpenAI 應用研究主管 Boris Power 估計，公司有 80% 至 90% 的研究聚焦於「GPT-7、GPT-8 及後續世代」。他在說明 OpenAI 如何兼顧現有產品與更強大模型的研究時提出這個比例。這是他在公開座談中的估計；OpenAI 並未公布研究資源分配明細供外界核對。

核心變化

  • 有哪些改變：Power 描述了兩條相互關聯的工作路線：改進人們目前使用的模型，以及針對後續世代進行研究。他估計，後者占 OpenAI 研究工作的大多數。
  • 為何重要：能力更強的大型模型可以針對明確任務，提供訓練範例給較小、成本較低的模型。即使產品採用小型模型，這仍讓開發者有理由關注前沿研究。
  • 後續觀察重點：未來模型發布及技術資料，可顯示大型模型的進展是否延伸到小型模型。這場訪談沒有提供 GPT-7 或 GPT-8 的發布日期、規格或成果。

這項估計的背景

Power 回答 Zachary Lipton 有關客戶需求如何回饋至研究工作的提問時表示，OpenAI 可以運用專門訓練資料與應用研究，改進特定行為，例如工具使用。依他的說法，同一模型世代內的漸進式更新，往往能回應這類需求。他認為，新一代大型模型則可能改變哪些專門調整仍有必要。他將部分現階段投資描述為加快當下學習與改進的方法，即使這些投資並非長期策略。

這番區分引出了他在Fellows Forum 錄影 1:32:52 處提出的 80% 至 90% 估計。Power 談的是OpenAI 整體的研究，而非只有他所屬團隊的研究。錄影和 OpenAI 公開資料都沒有界定所計算的研究範圍，也沒有說明統計期間、預算、人數或估算方法。因此，這個數字應視為 Power 對研究優先順序的描述，而非經稽核的公司支出或人力衡量結果。

Power 以 GPT-7 和 GPT-8 為後續世代的例子。他沒有宣布任何一款模型，也沒有揭露開發里程碑或發布時程。OpenAI 目前的模型目錄列出 GPT-6 Astra、Sol 和 Luna，可提供 Power 所提模型名稱的公開背景，但不能證明後續世代的開發進度。

他為何提到蒸餾

緊接著這項估計，Power 描述 GPT-6 Astra 大型模型教導較小的 GPT Luna 模型。他的重點是，能力強的大型模型可以提供範例，作為訓練小型模型的素材。他是在說明一種研究方法，並非證明某款已發布的 Luna 模型曾以 Astra 訓練。

OpenAI 的監督式微調指南說明了這項做法。開發者先確認大型模型在明確界定的任務上表現良好，再保留合適的輸出，作為訓練小型模型的範例，並評估小型模型在該任務上的表現。OpenAI 表示，這可以讓小型模型在特定任務上的表現更接近大型模型，但不代表小型模型會繼承教師模型的所有能力。OpenAI 的模型蒸餾公告也將評估、保存輸出與微調描述為反覆迭代的流程。

這個概念有更早的研究脈絡。在一篇2015 年的研究論文中，Geoffrey Hinton、Oriol Vinyals 與 Jeff Dean 探討如何將大型系統的知識轉移至較容易部署的模型。該研究說明了教師—學生模型的概念，並未談及 OpenAI 現今如何分配研究資源。

這說明了 Power 為何將前沿研究與實用模型連結起來：能力更強的教師模型可以為專用、低成本系統產生有用的訓練素材。成效取決於任務、範例的選擇及評估方式。Power 沒有提供 Astra 與 Luna 範例的蒸餾結果或比較數據。

Power 的估計揭示了他對 OpenAI 研究價值主要所在的看法。公開證據能確認他確實提出該說法，也能說明他提到的一般技術；但無法證明 OpenAI 實際如何分配資源，或未來 GPT 世代將帶來什麼成果。