EmbodiedCLBench, preprint objavljen 9. oktobra, proverava mogu li AI agenti da iskoriste iskustvo sa jednostavnim kućnim zadacima da reše nove kombinacije tih zadataka. U simuliranoj proceni autora jedan raniji primer doneo je veliko poboljšanje. Dodavanje primera nije pouzdano dalje podiglo uspeh. Benchmark tako razdvaja početnu korist od dokaza o stalnom gomilanju veština.

Velika promena

  • Šta se promenilo: Istraživači su objavili benchmark sa 168 osnovnih i 100 naprednih kućnih zadataka da bi proverili prenose li agenti iskustvo na ranije neviđene kombinacije.
  • Kako radi: Agenti prvo završavaju povezane osnovne zadatke, a zatim biraju kandidate za akcije u oflajn grafu stanja napravljenom iz kućnog simulatora TongSim. Zadatak je uspešan kada agent dostigne cilj u fiksnom budžetu koraka.
  • Nalazi autora: U glavnom poređenju, iskustvo iz dva osnovna zadatka povećalo je uspeh naprednih zadataka u svih osam testiranih kombinacija harnesa i modela. U užoj analizi broja primera, prelazak sa nula na jedan znatno je pomogao, dok od jednog do šest nije bilo doslednog rasta.
  • Zašto je važno: Rezultati daju programerima način da provere koristi li agent novo iskustvo za nepoznate kombinacije, umesto da pretpostave da više sačuvanih primera poboljšava učinak. Studija procenjuje simulirane odluke, a ne rad fizičkog robota.

Kućni zadatak postaje niz izbora

Benchmark koristi TongSim, simulator sa unutrašnjim scenama, interaktivnim predmetima i akcijama kao što su prići, podići, otvoriti i uključiti. Autori grade osnovne zadatke od kratkih nizova interakcija sa predmetima; napredni zadaci spajaju akcije iz dve do četiri osnovne kategorije. Primeri su „stavi šolju na sto“ i „sredi sobu“.

U objavljenoj proceni agent ne upravlja simulatorom koji radi. Autori su koristili zatvorenu verziju TongSim-a da naprave oflajn graf prelaza stanja. Svaki čvor sadrži sliku simulatora i kandidate za akcije. Izvršiv izbor vodi agenta u drugo stanje; nevažeća akcija tamo ne može da se izvrši. Agent bira dok ne stigne do cilja ili ne potroši korake. Rad kaže da su opisi zadataka i kandidati za akcije napravljeni pomoću Qwen3.7-Plus i ručno provereni.

Ovaj dizajn precizno određuje meru: stopa uspeha je udeo zadataka završenih u okviru budžeta. Napredni zadaci glavnog testa imaju najkraći put od 12 koraka, uz još tri dozvoljena pri testiranju. Neuspeh zato može da odražava pogrešan ili neefikasan niz u toj granici. Ne meri pouzdanost hvatanja, kontrolu pokreta ni učinak u promenljivom fizičkom domu.

Raniji zadaci pomažu, a zatim se dobici izravnavaju

Glavna glavna tabela rezultata poredi agente koji pokušavaju napredne zadatke bez ranijih primera sa dva načina prenošenja iskustva iz dva povezana osnovna zadatka. Učenje u kontekstu čuva cele ranije putanje interakcija. Učenje veština zamenjuje ih Markdown sažetkom veštine koji piše agent. U četiri harnesa, svaki uparen sa dva osnovna modela, oba pristupa nadmašila su odgovarajući rezultat bez primera. Na primer, Codex sa Qwen3.8-Flash porastao je sa 4% bez učenja na 34% uz putanje i 33% uz sažetak veštine. To su rezultati autora za zadatke i budžet ovog benchmarka.

Analiza broja primera menja osnovne primere od nula do šest. Autori su ovde koristili samo Hermes i OpenClaw, oba sa Qwen3.8-Flash. U dva harnesa i dve metode, jedan primer je podigao uspeh naprednih zadataka sa 8–10% bez primera na 28–40%. Posle prvog primera nijedna od četiri prijavljene krive nije dosledno rasla dodavanjem primera. Nalaz važi za ove agente i memorijske metode u uslovima rada; ne utvrđuje opštu granicu koristi od iskustva.

Uži trag o poboljšanju daje analiza akcija autora. U odnosu na zero-shot pokretanja, iskusni agenti birali su manje nevažećih akcija u zabeleženim odlukama. Rad prijavljuje smanjenje od 13–20% u četiri harnesa analizirana sa Qwen3.8-Flash. To je u skladu sa boljim korišćenjem dostupnih akcija, ali ne dokazuje trajnu, opštu veštinu.

Istraživačima koji biraju evaluaciju korisno je pitanje da li metoda povećava uspeh kada rastu broj i raznovrsnost prethodnih zadataka, uz iste zadržane kombinacije i isti budžet koraka. EmbodiedCLBench pruža strukturisani test. Dokazi ostaju preprint i objava projekta autora od 9. oktobra; BIG CHANGE nije pokrenuo benchmark, a rezultati ovde nisu nezavisno ponovljeni.

Izvori i dodatna literatura