AI-translated from English; not yet reviewed by a fluent editor.

# HybridAgent测试潜在推理与文本工具使用的混合方式

> 一篇新预印本与公开代码展示HybridAgent如何交替进行潜在推理与文本工具使用。测得的提升来自作者设置的基准测试环境。

By BIG CHANGE Editorial

Published: 2026-10-19T07:00:34.991Z
Updated: 2026-10-19T07:00:34.991Z
Canonical: https://bigchange.ai/blog/hybridagents-latent-reasoning-text-tool-use-paper

![Conceptual charcoal illustration of a continuous accordion paper strip with dark folded sections and completely blank pale sections.](https://bigchange.ai/api/media/file/hybridagent-latent-text-accordion-concept-v2.png)
AI-generated conceptual illustration by BIG CHANGE; no actual model trace, architecture or test result is depicted.

调用搜索引擎的智能体必须用文本表达查询，并读取结果。但其内部推理未必需要采用同样的格式。在[10月13日的预印本](https://arxiv.org/html/2610.18861v1)中，斯坦福大学、伊利诺伊大学厄巴纳—香槟分校、Together AI和Meta的研究人员介绍了HybridAgent：这套系统交替使用连续内部状态，以及用于工具调用、观察结果和回答的文本。他们已公开研究代码和两个智能体模型检查点。报告中的性能与效率结果来自作者的实验，并非独立复现，也不是已部署服务的结果。

## 大变化

- **发生了什么变化：** HybridAgent让语言模型智能体在同一任务中，在内部连续状态步骤和普通文本之间切换。文本仍是搜索、Python和最终答案的接口。
- **为什么重要：** 研究智能体的开发者可以检验，是否每个中间步骤都需要写成文本。作者条件匹配的实验显示，其方法可能减少生成步骤，而公开代码让实现可供检查。两者都不能证明运营中服务的账单会更低。
- **接下来关注什么：** 使用公开检查点的独立实验，可以测试测得的优势是否在不同任务与工具成本下仍然存在。更难检查的问题是：从潜在状态恢复的可读文字，是否忠实描述了答案如何产生。

## 切换如何运作

在普通文本模式下，模型生成token。当它输出特殊的 `<latent>` token时，一个名为HybridLink的小型组件会将模型最后的隐藏状态映射回输入空间。系统将得到的连续向量送入下一步，不先把它转为单词。当与最近token的比较识别出 `</latent>` 标记时，系统便回到文本模式。模型随后可以编写工具调用或答案。论文介绍了一种持续保留的键值缓存，将文本、潜在步骤和工具观察结果带入后续轮次。[架构与转换规则见预印本第3、4节](https://arxiv.org/html/2610.18861v1)。

这需要的不只是给预训练模型加上适配器。作者先将文本示范转成混合文本与潜在状态的训练序列，再通过监督训练教基础模型与HybridLink共同工作。接着以强化学习阶段，在推理与搜索任务上训练得到的智能体。在该阶段，作者更新采样文本位置的概率，并重放已记录的潜在输入。论文称，训练数据包括54000条转换后的示范，接着另有12000条深度推理示例和1000条智能体搜索示例。[训练与数据细节](https://arxiv.org/html/2610.18861v1)。

## 基准测试衡量了什么

主要评估报告了基于Qwen3-Base的8B与14B版本在11项基准上的结果。六项涵盖数学、科学或医学知识，以及多跳问题；五项侧重搜索和智能体任务。另一个附录在AIME25、AIME26、MATH500和GPQA-Diamond四项基准上测试4B版本。作者比较的对象包括使用相同基础模型与训练数据的文本训练智能体、潜在推理方法、前沿智能体和工具使用框架。这些组别承担不同的比较目的。以条件匹配的14B强化学习比较为例，HybridAgent在MATH500得到88.2%，用ARPO训练的文本智能体为87.0%。GAIA平均值方面，论文报告HybridAgent 14B为52.4%，该ARPO基线为43.7%。这些是作者设置下的基准测试结果，并非已部署智能体的通用排名。[主要表格、4B附录与基线定义](https://arxiv.org/html/2610.18861v1)。

实验设置很重要。论文在数学评估中使用经过深度推理训练的检查点，在知识与智能体评估中使用经过智能体搜索训练的检查点。文中称，推理采用temperature 0.6、top-p 0.95和top-k 20，预算同时计算文本token和潜在步骤。数学与知识任务允许4096步，较难的智能体任务允许24000步。潜在片段最少16步、最多256步；轨迹设有工具调用次数限制。工具包括沙箱Python解释器和实时搜索，也使用模型总结搜索页面并评判输出。作者报告在32张H100 GPU上进行训练与推理。不同工具服务、检索结果或运行条件，都可能改变比较结果。[实验设置](https://arxiv.org/html/2610.18861v1)。

摘要中的性能提升10.4%，指的是在相同模型大小和训练预算下，强化学习阶段与对应文本及潜在基线的比较。不应解读成普遍优于所有前沿智能体。论文也报告，主要智能体任务表格来自五次独立运行，准确率的平均标准差为0.014。[结果与表格说明](https://arxiv.org/html/2610.18861v1)。

## 效率主张的计算范围更窄

论文报告，相较文本基线，文本token数约为原来的1/2.7，总生成步骤最多减少54%。摘要给出1.8至2.6倍的推理速度，以及降至约原来1/2.7至1/3.7的估计成本。潜在步骤仍需要模型计算。作者的成本表将每个文本或潜在步骤都按一次完整基础模型前向计算计费，并以H100每小时2.50美元、BF16峰值吞吐量10%的假设估算一百万个答案。对于8B基础模型，该计算从每题62.5万亿次浮点运算降至17.2万亿次，每百万题成本由439美元降至121美元。[效率章节与成本表](https://arxiv.org/html/2610.18861v1)。

同一附录明确排除提示处理、随上下文变化的注意力成本，以及外部工具执行。因此，搜索调用、托管和其他服务成本不在这项美元比较之内。这些数字可以说明作者测量的生成路径和明示的计算模型，但无法确定完整智能体服务的运营成本。

## 可读的潜在片段仍需检查

HybridAgent可以把每个潜在步骤映射到最近的token嵌入，显示伪文本读出。[代码仓库的示例](https://github.com/togethercomputer/HybridAgent)将这类读出与实际搜索、Python调用并列。在论文另一项实验中，修改或替换潜在向量会降低MATH500准确率，支持这些状态影响答案的主张。但这并不表明最近的单词能完整或忠实地解释计算过程。[潜在状态干预表格](https://arxiv.org/html/2610.18861v1)。

作者也在560道数学题上，测试可见文本对外部监控有多大帮助。表格报告，相较条件匹配的文本智能体，HybridAgent的可见文本token更少，并列出几个由模型评判的监控与调试指标。部分指标提升；14B版本的强监控器AUROC，HybridAgent为0.989，文本智能体为0.990。这些测试评估的是特定监控器与任务，无法证明通用透明度或安全性，尤其不能涵盖隐藏的潜在片段。[可审计性实验](https://arxiv.org/html/2610.18861v1)。

## 现在可以获得什么

采用[MIT许可的代码仓库](https://github.com/togethercomputer/HybridAgent)包含混合生成引擎、Python与搜索工具、监督及强化学习流程、批量推理和伪文本检查器。作者链接公开的 [8B](https://huggingface.co/togethercomputer/HybridAgent-8B-Agentic) 与 [14B](https://huggingface.co/togethercomputer/HybridAgent-14B-Agentic) **智能体** 检查点，以及训练数据集。论文的数学评估使用单独训练的深度推理检查点；README公布的模型清单列出两个智能体检查点。每个公开检查点都包含基础模型与HybridLink权重。模型卡称，仅通过Transformers加载基础模型，得到的是纯文本模型；潜在生成与工具使用需要项目代码。

README建议监督训练使用8或16张GPU，智能体搜索的强化学习启动器则使用四个节点、共32张GPU。安装说明也包含搜索API密钥。这些是尝试文档所述研究流程时的重要要求。BIG CHANGE已检查论文、代码仓库和模型卡，但未运行代码、下载检查点或复现基准测试。

## Sources

- [Zou等人，Hybrid Reasoning Agents，arXiv:2610.18861v1（2026-10-13）](https://arxiv.org/html/2610.18861v1) — 主要预印本。第3至6节与附录E、G、H说明方法、训练、基准测试、32张H100的设置及成本假设。作者结果不是独立复现；美元估算排除prefill、上下文注意力和工具。
- [Together Computer，HybridAgent代码与README](https://github.com/togethercomputer/HybridAgent) — MIT许可的官方研究实现。README列出引擎、SFT／RL流程、8B／14B检查点、Tavily密钥，以及SFT使用8／16张GPU和搜索RL使用32张GPU的建议。BIG CHANGE未运行。
- [Together Computer，HybridAgent-8B-Agentic模型卡](https://huggingface.co/togethercomputer/HybridAgent-8B-Agentic) — 公开8B检查点的官方模型卡。介绍基础模型与HybridLink权重；混合生成与工具使用需要代码仓库中的代码。
- [Together Computer，HybridAgent-14B-Agentic模型卡](https://huggingface.co/togethercomputer/HybridAgent-14B-Agentic) — 公开14B检查点的官方模型卡。代码要求相同；它是研究检查点，不能当作已有部署服务的证据。