Агент који позива претраживач мора да изрази упит текстом и прочита резултат. Његово унутрашње резоновање не мора да прати исти формат. У препринту од 13. октобра, истраживачи са Станфорда, Универзитета Илиноис у Урбани и Шампејну, из Together AI-ја и Мете описују HybridAgent, систем који смењује непрекидна унутрашња стања са текстом за позиве алата, опажања и одговоре. Објавили су истраживачки код и две контролне тачке модела за агентске задатке. Пријављени резултати учинка и ефикасности потичу из експеримената аутора, а не из независног понављања или већ покренуте услуге.

Велика промена

  • Шта се променило: HybridAgent омогућава агенту заснованом на језичком моделу да током једног задатка прелази између унутрашњих корака са непрекидним стањем и обичног текста. Текст остаје интерфејс за претрагу, Python и коначан одговор.
  • Зашто је важно: Програмери који проучавају агенте могу да испитају да ли сваки међукорак мора да буде записан. Експерименти аутора са усклађеним условима указују на мање корака генерисања код њихове методе, док јавни код омогућава преглед имплементације. Ниједно не доказује нижи рачун за услугу у раду.
  • Шта пратити: Независна покретања са објављеним контролним тачкама могу испитати да ли измерена предност опстаје уз друге задатке и трошкове алата. Теже питање за проверу јесте да ли читљиве речи добијене из латентног стања верно описују како је одговор настао.

Како прелазак функционише

У уобичајеном текстуалном режиму модел генерише токене. Када емитује посебан токен <latent>, мала компонента HybridLink пресликава последње скривено стање модела назад у његов улазни простор. Систем прослеђује добијени непрекидни вектор у следећи корак без претходног претварања у реч. Враћа се у текстуални режим када поређење са најближим токеном препозна ознаку </latent>. Модел тада може да напише позив алата или одговор. Рад описује трајни кеш кључева и вредности који преноси текст, латентне кораке и опажања алата у наредне кругове. Архитектура и правила преласка налазе се у одељцима 3 и 4 препринта.

То захтева више од додавања адаптера на унапред обучен модел. Аутори најпре претварају текстуалне демонстрације у мешовите текстуалне и латентне секвенце за обуку, а затим надгледаном обуком уче основни модел и HybridLink да раде заједно. Фаза учења поткрепљивањем обучава добијеног агента на задацима резоновања и претраге. У тој фази аутори ажурирају вероватноће на узоркованим текстуалним позицијама и понављају забележене латентне улазе. Рад наводи 54.000 претворених демонстрација, а затим засебне скупове од 12.000 примера дубоког резоновања и 1.000 примера агентске претраге. Детаљи обуке и података.

Шта су тестови мерили

Главна евалуација приказује верзије од 8B и 14B засноване на Qwen3-Base на 11 тестова. Шест обухвата математику, научно или медицинско знање и питања са више корака; пет наглашава претрагу и агентске задатке. Засебан додатак испитује верзију од 4B на четири теста: AIME25, AIME26, MATH500 и GPQA-Diamond. Аутори пореде текстуално обучене агенте са истим основним моделима и подацима за обуку, методе латентног резоновања, најнапредније агенте и оквире за употребу алата. Те групе имају различите сврхе поређења. На пример, у усклађеном поређењу учења поткрепљивањем за 14B, HybridAgent постиже 88,2% на MATH500, наспрам 87,0% текстуалног агента обученог помоћу ARPO-а. За просек GAIA, рад наводи 52,4% за HybridAgent 14B и 43,7% за тај ARPO репер. То су резултати под условима аутора, а не опште рангирање агената у стварној употреби. Главне табеле, додатак за 4B и дефиниције репера.

Поставка је важна. Рад за математичке евалуације користи контролне тачке обучене за дубоко резоновање, а за евалуације знања и агентских задатака оне обучене за агентску претрагу. Наводи температуру 0,6, top-p 0,95 и top-k 20 при закључивању, уз буџете који рачунају и текстуалне токене и латентне кораке. Дозвољено је 4.096 корака за математику и знање, а 24.000 за теже агентске задатке. Латентни низови трајали су најмање 16, а највише 256 корака; путање су имале ограничења позива алата. Алати су били изоловани Python интерпретер и претрага уживо, уз модел за сажимање страница претраге и оцењивање излаза. Аутори наводе обуку и закључивање на 32 H100 GPU-а. Други сервиси алата, резултати претраге или радни услови могли би променити поређење. Експериментална поставка.

Побољшање учинка од 10,4% из сажетка односи се на поређења са одговарајућим текстуалним и латентним реперима у фази учења поткрепљивањем, уз усклађене величине модела и буџете обуке. Не треба га читати као универзално побољшање у односу на сваког најнапреднијег агента. Рад такође наводи резултате пет независних покретања за главну табелу агентских задатака, уз просечну стандардну девијацију тачности од 0,014. Резултати и опис табеле.

Тврдња о ефикасности има ужи обухват обрачуна

Рад наводи 2,7 пута мање текстуалних токена и до 54% мање укупних корака генерисања у поређењу са текстуалним реперима. Сажетак даје распон брзине закључивања од 1,8 до 2,6 пута и процењени трошак нижи 2,7 до 3,7 пута. Латентни кораци и даље захтевају рачунање модела. Табела трошкова аутора сваки текстуални или латентни корак рачуна као цео пролаз унапред кроз основни модел и процењује милион одговора уз цену H100 од 2,50 USD на сат, при 10% вршне BF16 пропусности. За основни модел од 8B, тај обрачун прелази са 62,5 на 17,2 билиона операција са покретним зарезом по питању и са 439 на 121 USD за милион питања. Одељак о ефикасности и табела трошкова.

Исти додатак изричито искључује обраду упита, трошкове пажње који варирају са контекстом и извршавање спољних алата. Позиви претраге, хостинг и други сервисни трошкови зато нису део тог поређења у доларима. Бројеви су корисни подаци о измереним путањама генерисања аутора и њиховом наведеном моделу рачунања, али не утврђују трошак рада целе агентске услуге.

Читљиви латентни низови и даље захтевају проверу

HybridAgent може приказати псеудотекст пресликавањем сваког латентног корака на најближи векторски приказ токена. Пример у репозиторијуму приказује таква очитавања уз стварне позиве претраге и Python-а. У засебном експерименту у раду, мењање или замена латентних вектора смањује тачност на MATH500, што подржава тврдњу да та стања утичу на одговор. Не показује да најближе речи дају потпун или веран опис рачунања. Табела интервенција у латентном простору.

Аутори такође испитују корисност видљивог текста за спољни надзор на 560 математичких задатака. Табела приказује мање видљивих текстуалних токена за HybridAgent него за усклађене текстуалне агенте, уз више мера надзора и отклањања грешака које процењују модели. Неке мере се побољшавају; AUROC снажног надзорног модела за 14B износи 0,989 за HybridAgent и 0,990 за текстуалног агента. Ти тестови оцењују конкретне надзорне моделе и задатке. Не могу утврдити општу транспарентност или безбедност, нарочито за скривене латентне низове. Експеримент могућности ревизије.

Шта је сада доступно

Репозиторијум са MIT лиценцом садржи хибридни механизам генерисања, Python и алате за претрагу, токове надгледане обуке и учења поткрепљивањем, групно закључивање и инспектор псеудотекста. Аутори повезују јавне контролне тачке од 8B и 14B за агентске задатке, уз скупове података за обуку. Математичке евалуације рада користиле су засебно обучене контролне тачке за дубоко резоновање; листа објављених модела у README-у наводи две агентске контролне тачке. Свака јавна контролна тачка садржи тежине основног модела и HybridLink-а. Картица модела каже да учитавање основног модела само кроз Transformers даје искључиво текстуални модел; латентно генерисање и употреба алата захтевају код пројекта.

README препоручује 8 или 16 GPU-ова за надгледану обуку и 32 GPU-а на четири чвора за покретач учења поткрепљивањем са агентском претрагом. Упутство за инсталацију укључује API кључ за претрагу. То су значајни захтеви за свакога ко покушава документовани истраживачки поступак. BIG CHANGE је прегледао рад, репозиторијум и картице модела; није покренуо код, преузео контролне тачке нити поновио тестове.