呼叫搜尋引擎的代理必須用文字表達查詢，並讀取結果。但其內部推理未必需要使用同樣格式。在10月13日的預印本中，史丹佛大學、伊利諾大學厄巴納—香檳分校、Together AI與Meta的研究人員介紹HybridAgent：這套系統交替使用連續內部狀態，以及用於工具呼叫、觀察結果與回答的文字。他們已公開研究程式碼及兩個代理式模型檢查點。文中報告的效能與效率結果來自作者的實驗，並非獨立重現，也不是已部署的服務。

大變化

  • 發生了什麼變化： HybridAgent讓語言模型代理在同一任務中，於內部連續狀態步驟與一般文字之間切換。文字仍是搜尋、Python和最終答案的介面。
  • 為什麼重要： 研究代理的開發者可以檢驗，是否每個中間步驟都需要寫成文字。作者條件匹配的實驗顯示，其方法可能減少生成步驟，而公開程式碼讓實作可供檢查。兩者都無法證明營運中服務的帳單會更低。
  • 接下來關注什麼： 使用公開檢查點的獨立實驗，可以測試量測到的優勢是否能在不同任務與工具成本下維持。更難檢查的問題是：從潛在狀態還原的可讀文字，是否忠實描述答案如何產生。

切換如何運作

在一般文字模式下，模型生成token。當它輸出特殊的 <latent> token時，一個名為HybridLink的小型元件會將模型最後的隱藏狀態映射回輸入空間。系統把得到的連續向量送入下一步，不先將其轉成單字。當最接近token的比較辨識出 </latent> 標記時，系統便回到文字模式。模型隨後可撰寫工具呼叫或答案。論文描述一種持續保留的鍵值快取，將文字、潛在步驟與工具觀察結果帶入後續輪次。架構與轉換規則見預印本第3、4節。

這需要的不只是替預訓練模型加上一個轉接器。作者先將文字示範轉為混合文字與潛在狀態的訓練序列，再用監督式訓練教導基礎模型與HybridLink共同運作。接著以強化學習階段，在推理與搜尋任務上訓練得到的代理。在該階段，作者更新抽樣文字位置的機率，並重播記錄下來的潛在輸入。論文表示，訓練資料包含54000筆轉換後示範，接著另有12000筆深度推理範例與1000筆代理式搜尋範例。訓練與資料細節。

基準測試衡量了什麼

主要評測報告基於Qwen3-Base的8B與14B版本，在11項基準測試上的結果。六項涵蓋數學、科學或醫學知識，以及多跳問題；五項著重搜尋與代理任務。另一附錄在AIME25、AIME26、MATH500與GPQA-Diamond四項基準上測試4B版本。作者比較的對象包括使用相同基礎模型與訓練資料的文字訓練代理、潛在推理方法、前沿代理與工具使用框架。這些群組各有不同的比較目的。以條件匹配的14B強化學習比較為例，HybridAgent在MATH500得到88.2%，用ARPO訓練的文字代理為87.0%。GAIA平均值方面，論文報告HybridAgent 14B為52.4%，該ARPO基準為43.7%。這些是作者設定下的基準測試結果，並非已部署代理的一般排名。主要表格、4B附錄與基準定義。

實驗設定很重要。論文在數學評測使用經深度推理訓練的檢查點，在知識與代理式評測使用經代理式搜尋訓練的檢查點。文中表示，推論設定為temperature 0.6、top-p 0.95與top-k 20，預算同時計入文字token和潛在步驟。數學與知識任務允許4096步，較難的代理任務允許24000步。潛在區段最少16步、最多256步；軌跡設有工具呼叫次數限制。工具包括沙箱Python直譯器與即時搜尋，也使用另一個模型摘要搜尋頁面並評判輸出。作者報告在32張H100 GPU上進行訓練與推論。工具服務、檢索結果或運作條件不同，都可能改變比較結果。實驗設定。

摘要中的效能提升10.4%，指的是在相同模型大小與訓練預算下，強化學習階段與對應文字及潛在基準的比較。不應解讀成普遍優於所有前沿代理。論文也報告，主要代理式任務表格來自五次獨立實驗，準確度的平均標準差為0.014。結果與表格說明。

效率主張的計算範圍更窄

論文報告，相較文字基準，文字token數約為原本的1/2.7，總生成步驟最多減少54%。摘要給出1.8至2.6倍的推論速度，以及降低至約原本1/2.7至1/3.7的估計成本。潛在步驟仍需要模型運算。作者的成本表將每個文字或潛在步驟都按一次完整基礎模型前向運算計費，並以H100每小時2.50美元、BF16峰值吞吐量10%的假設估算一百萬個答案。對8B基礎模型，該計算從每題62.5兆次浮點運算降至17.2兆次，每百萬題成本由439美元降至121美元。效率章節與成本表。

同一附錄明確排除提示處理、隨上下文變化的注意力成本，以及外部工具執行。因此，搜尋呼叫、託管與其他服務成本不在這項美元比較之內。這些數字可用來了解作者量測的生成路徑及明示的運算模型，但無法確定完整代理服務的營運成本。

可讀的潛在區段仍需檢視

HybridAgent可以把每個潛在步驟映射到最接近的token嵌入，顯示偽文字讀出。程式碼儲存庫的範例將這類讀出與實際搜尋、Python呼叫並列。在論文另一項實驗中，改動或替換潛在向量會降低MATH500準確度，支持這些狀態影響答案的主張。但這並不表示最接近的單字能完整或忠實地解釋運算過程。潛在狀態介入表格。

作者也在560道數學題上，測試可見文字對外部監控有多大幫助。表格報告，相較條件匹配的文字代理，HybridAgent的可見文字token更少，並列出數個由模型評判的監控與除錯指標。部分指標提升；14B版本的強監控器AUROC，HybridAgent為0.989，文字代理為0.990。這些測試評估的是特定監控器與任務，無法證明一般性的透明度或安全性，尤其無法涵蓋隱藏的潛在區段。可稽核性實驗。

現在可取得什麼

採用MIT授權的儲存庫包含混合生成引擎、Python與搜尋工具、監督式與強化學習流程、批次推論，以及偽文字檢查器。作者連結公開的 8B 與 14B 代理式 檢查點，以及訓練資料集。論文的數學評測使用另行訓練的深度推理檢查點；README公布的模型清單列出兩個代理式檢查點。每個公開檢查點都包含基礎模型與HybridLink權重。模型卡表示，僅透過Transformers載入基礎模型，得到的是純文字模型；潛在生成與工具使用需要專案程式碼。

README建議監督式訓練使用8或16張GPU，代理式搜尋的強化學習啟動器則使用四個節點、共32張GPU。安裝說明也包含搜尋API金鑰。這些是嘗試文件所述研究流程時有實質影響的要求。BIG CHANGE已檢視論文、儲存庫與模型卡，但未執行程式碼、下載檢查點或重現基準測試。