Агенту, вызывающему поисковую систему, нужно выразить запрос текстом и прочитать результат. Его внутреннее рассуждение не обязано следовать тому же формату. В препринте от 13 октября исследователи из Стэнфорда, Иллинойсского университета в Урбане-Шампейне, Together AI и Meta описывают HybridAgent — систему, чередующую непрерывные внутренние состояния с текстом для вызовов инструментов, наблюдений и ответов. Они опубликовали исследовательский код и две агентные контрольные точки. Заявленные результаты производительности и эффективности получены в экспериментах авторов, а не при независимом воспроизведении или работе развёрнутого сервиса.

Главное изменение

  • Что изменилось: HybridAgent позволяет агенту на основе языковой модели в рамках одной задачи переходить между внутренними шагами с непрерывным состоянием и обычным текстом. Текст остаётся интерфейсом для поиска, Python и окончательного ответа.
  • Почему это важно: Разработчики, исследующие агентов, могут проверить, нужно ли записывать словами каждый промежуточный шаг. Эксперименты авторов в сопоставимых условиях указывают на меньшее число шагов генерации у их метода, а открытый код позволяет изучить реализацию. Ни то ни другое не доказывает меньший счёт за действующий сервис.
  • За чем следить: Независимые запуски с опубликованными контрольными точками могут проверить, сохраняется ли измеренное преимущество на других задачах и при иной стоимости инструментов. Более сложный вопрос проверки — точно ли читаемые слова, восстановленные из латентного состояния, описывают путь к ответу.

Как работает переключение

В обычном текстовом режиме модель генерирует токены. Когда она выдаёт специальный токен <latent>, небольшой компонент HybridLink отображает последнее скрытое состояние модели обратно в пространство её входов. Система подаёт полученный непрерывный вектор на следующий шаг, не превращая его сначала в слово. Она возвращается к текстовому режиму, когда сравнение с ближайшим токеном выявляет маркер </latent>. Затем модель может записать вызов инструмента или ответ. В статье описан постоянный кэш ключей и значений, переносящий текст, латентные шаги и наблюдения инструментов в последующие ходы. Архитектура и правила переходов приведены в разделах 3 и 4 препринта.

Это требует большего, чем подключение адаптера к предобученной модели. Сначала авторы преобразуют текстовые демонстрации в смешанные обучающие последовательности текста и латентных состояний, затем обучают базовую модель и HybridLink совместной работе с учителем. На этапе обучения с подкреплением полученный агент учится на задачах рассуждения и поиска. На этом этапе авторы обновляют вероятности в выбранных текстовых позициях и повторно подают записанные латентные входы. По статье, данные состоят из 54 000 преобразованных демонстраций, за которыми следуют отдельные наборы из 12 000 примеров глубокого рассуждения и 1000 примеров агентного поиска. Подробности обучения и данных.

Что измеряли тесты

Основная оценка охватывает версии 8B и 14B на основе Qwen3-Base в 11 тестах. Шесть посвящены математике, научным или медицинским знаниям и многошаговым вопросам, пять — поиску и агентным задачам. Отдельное приложение проверяет версию 4B на AIME25, AIME26, MATH500 и GPQA-Diamond. Авторы сравнивают её с текстовыми агентами на тех же базовых моделях и данных обучения, методами латентного рассуждения, передовыми агентами и фреймворками использования инструментов. Эти группы служат разным целям сравнения. Например, в сопоставимом сравнении обучения с подкреплением для 14B HybridAgent получает 88,2% на MATH500, а текстовый агент, обученный с ARPO, — 87,0%. Средний результат GAIA составляет, по статье, 52,4% для HybridAgent 14B и 43,7% для этой базы ARPO. Это тестовые результаты в условиях авторов, а не общий рейтинг развёрнутых агентов. Основные таблицы, приложение 4B и определения баз сравнения.

Конфигурация имеет значение. Для математических оценок статья использует контрольные точки, обученные глубокому рассуждению, а для оценок знаний и агентных задач — обученные агентному поиску. Указаны температура 0,6, top-p 0,95 и top-k 20 при инференсе; бюджеты учитывают и текстовые токены, и латентные шаги. Для математики и знаний разрешены 4096 шагов, для более сложных агентных задач — 24 000. Латентные отрезки занимали от 16 до 256 шагов; траектории ограничивались числом вызовов инструментов. Инструментами были изолированный интерпретатор Python и живой поиск. Модель также суммировала поисковые страницы и оценивала выводы. Авторы сообщают об обучении и инференсе на 32 GPU H100. Другие сервисы инструментов, результаты поиска или условия работы могут изменить сравнение. Экспериментальная конфигурация.

Улучшение производительности на 10,4% из аннотации относится к сравнению с соответствующими текстовыми и латентными базами на этапе обучения с подкреплением при одинаковых размерах моделей и бюджетах обучения. Его нельзя читать как универсальное превосходство над любым передовым агентом. Статья также приводит пять независимых запусков для основной таблицы агентных задач со средним стандартным отклонением точности 0,014. Результаты и подпись таблицы.

Расчёт эффективности охватывает более узкий набор затрат

Статья сообщает о сокращении текстовых токенов в 2,7 раза и сокращении общего числа шагов генерации максимум на 54% относительно текстовых баз. Аннотация указывает ускорение инференса в 1,8–2,6 раза и снижение оценочной стоимости в 2,7–3,7 раза. Латентные шаги по-прежнему требуют вычислений модели. Таблица затрат авторов учитывает каждый текстовый или латентный шаг как полный прямой проход базовой модели и оценивает миллион ответов при цене H100 в 2,50 доллара в час и 10% пиковой пропускной способности BF16. Для базы 8B расчёт меняется с 62,5 до 17,2 триллиона операций с плавающей точкой на вопрос и с 439 до 121 доллара на миллион вопросов. Раздел эффективности и таблица затрат.

То же приложение прямо исключает обработку промпта, затраты внимания, зависящие от контекста, и выполнение внешних инструментов. Поэтому поисковые вызовы, хостинг и другие сервисные расходы не входят в это сравнение в долларах. Цифры полезны как свидетельство измеренных авторами путей генерации и заявленной вычислительной модели, но не устанавливают стоимость работы полноценного агентного сервиса.

Читаемые латентные отрезки всё ещё требуют проверки

HybridAgent может показать псевдотекст, отображая каждый латентный шаг в ближайшее векторное представление токена. Пример в репозитории показывает такие прочтения рядом с настоящими вызовами поиска и Python. В отдельном эксперименте статьи изменение или замена латентных векторов снижает точность MATH500. Это поддерживает утверждение, что состояния влияют на ответ, но не показывает, что ближайшие слова полно или точно описывают вычисления. Таблица вмешательств в латентные состояния.

Авторы также проверяют полезность видимого текста для внешнего мониторинга на 560 математических задачах. Таблица сообщает о меньшем числе видимых текстовых токенов у HybridAgent, чем у сопоставимых текстовых агентов, и приводит несколько оцениваемых моделями показателей мониторинга и отладки. Часть показателей улучшается; AUROC сильного монитора при 14B составляет 0,989 для HybridAgent и 0,990 для текстового агента. Эти тесты оценивают определённые мониторы и задачи. Они не доказывают общую прозрачность или безопасность, особенно для скрытых латентных отрезков. Эксперимент с возможностью аудита.

Что доступно сейчас

Репозиторий с лицензией MIT содержит движок гибридной генерации, инструменты Python и поиска, процессы обучения с учителем и с подкреплением, пакетный инференс и инспектор псевдотекста. Авторы дают ссылки на открытые контрольные точки 8B и 14B для агентных задач, а также обучающие наборы данных. Математические оценки статьи использовали отдельно обученные контрольные точки глубокого рассуждения; список опубликованных моделей в README указывает две агентные контрольные точки. Каждая открытая контрольная точка содержит веса базовой модели и HybridLink. Карточка модели уточняет: загрузка одной базовой модели через Transformers даёт только текстовую модель, а латентная генерация и инструменты требуют кода проекта.

README рекомендует 8 или 16 GPU для обучения с учителем и 32 GPU на четырёх узлах для запуска обучения с подкреплением в агентном поиске. Инструкции установки включают API-ключ поиска. Это существенные требования для тех, кто попробует документированный исследовательский процесс. BIG CHANGE изучил статью, репозиторий и карточки моделей, но не запускал код, не скачивал контрольные точки и не воспроизводил тесты.