Тим са Caltech-а и Stanford-а је представио HomeBody, истраживачки систем у којем GPT Astra усмерава робота Unitree Г1 током кухињских задатака позивајући вештине за навигацију и руковање предметима. Робот најпре истражује просторију и памти где је видео предмете. У демонстрацијама тима прикупља кесице кафе, баца одређене картонске кутије и узима бочицу лека из фиоке након што она нестане из видног поља његове камере.

Суштинска промена

  • Шта се променило: HomeBody даје моделу вида и језика приступ просторном запису истражене просторије и заједничком интерфејсу за роботске вештине. Модел бира вештину и циљ; локални софтвер планира и изводи кретање, а затим пријављује исход.
  • Зашто је то важно: Модел може да планира кретање између различитих локација и користи повратне информације без обучавања нове политике деловања за ову кухињу. Демонстрације тима приказују како се памћење и постојеће моторичке вештине могу повезати за дуже задатке.
  • Шта још није разјашњено: Јавно објављени материјал приказује одабране демонстрације, а не контролисано мерење успешности. Рад и код робота нису јавно доступни на дан 27. септембра, па се пријављени учинак још не може независно поновити на основу објављеног материјала.

Како робот памти просторију

HomeBody најпре истражује просторију. Према опису примене на страници пројекта, Г1 прикупља широкоугаони снимак са iPhone-а, податке са камере D435i, LiDAR скенирања, положаје зглобова и међутачке које бира модел. SLAM мапа заснована на LiDAR-у даје измерену геометрију просторије. Астра користи те податке да направи дигитални близанац у NVIDIA Isaac Sim-у. Тим усклађује мапу и реконструкцију тако да снимљени прикази камере и тренутни положај робота користе исти координатни систем.

Та припрема је важна када се упутство односи на предмет који робот тренутно не види. За захтев да донесе лек, тим каже да HomeBody призива сачуване кључне кадрове камере како би пронашао фиоку, пришао јој, отворио је и узео бочицу. Модел просторије помаже при навигацији и присећању локације, док камером уживо и даље управља завршна физичка радња.

Приказ кретања кроз кухињу на страници пројекта изричито је означен као илустративан и одвија се у реконструисаној просторији. Страница одвојено приказује снимке Г1 који обавља кухињске задатке, а снимке вештина за навигацију, узимање и одлагање предмета и отварање фиоке означава као стварне снимке робота. Ти видео-снимци бележе одабране покушаје тима, док симулирана реприза објашњава редослед планирања.

Од одлуке модела до кретања

Модел добија задатак, тренутни приказ камере, контекст мапе, стање хватаљке, призване опсервације и исход претходне вештине. Затим шаље структурисани позив са називом вештине и циљем. При хватању предмета циљ је тачка на слици, представљена вредношћу од 0 до 1000, уз избор руке. Локални систем перцепције сегментира предмет, процењује његову дубину из стерео-снимака и претвара изабрану тачку у тродимензионалну позу за хватање. Планер за руку затим израчунава и проверава путању кретања. Навигација уместо тога прима дводимензионални циљ и смер кретања у координатама мапе, а одлагање предмета тродимензионалну тачку испуштања. Отварање фиоке обједињује поравнање са ручком, качење и ход уназад у једну радњу.

Вештине локално изводе ситне корекције. Тим описује визуелно праћење током приласка и ограничен број поновљених покушаја када хватање не успе. Ако опоравак не успе, вештина враћа разлог Астри како би она донела нову одлуку. Ходање и посезање ослањају се на унапред обучени контролер целог тела AMO. Страница наводи да се команде за руке и шаке извршавају на 250 Хз, а AMO политика ажурира на 50 Хз. Астра ради удаљено; перцепција, планирање кретања и вештине извршавају се на лаптопу са графичком картицом RTX 4090.

Астра бира коју радњу да покуша и где; библиотека вештина и контролери одређују како се Г1 креће. Тим каже да за кухињске демонстрације нису коришћени подаци за обуку специфични за ту просторију нити додатно учење политике. Постојећи унапред обучени контролер и опсежна реконструкција просторије и даље су део поставке.

Шта демонстрације показују

Страница пројекта описује два низа физичких задатака у кухињи коју робот раније није познавао. У једном, робот скупља кесице кафе и баца одређене кутије млека и сока од поморанџе. У другом, Г1 на основу недовољно прецизног захтева проналази бочицу лека, вади је из фиоке, пружа је кориснику и баца једну кутију. Видео-снимци вештина приказују појединачне радње и забележене покушаје; страница наводи да је већина прегледа убрзана и посебно издваја узимање из фиоке које је више пута понављано.

У објави нема броја покушаја, стопе успешности задатака, поређења са наученом политиком вида, језика и деловања, нити времена и трошка за сваки завршен низ кухињских задатака. Зато она показује архитектуру на делу, али не пружа мерене доказе да решење поуздано ради и у другим кухињама. Повезани јавни репозиторијум тренутно наводи „Код ускоро стиже“, а ознака „Рад“ на страници пројекта не води до рукописа. Репозиторијум садржи веб-сајт, илустрације и видео-снимке, али не и имплементацију робота или датотеке са евалуацијама. BIG CHANGE није покретао HomeBody нити тестирао робота.

У ранијем извештају BIG CHANGE-а о GPT-Policy-ју разматран је рад другог тима о контексту за роботске радње. Материјали о HomeBody-ју не представљају тај рад као део овог система.

Тим наводи неколико практичних ограничења: израда дигиталног близанца захтева време за припрему и трошкове АПИ-ја; удаљено резоновање Астре прави паузе између вештина; досег и могућности манипулације ограничавају оно што Г1 може да уради; а сервомотори у прстима могу да се прегреју током дужег рада. Локална поставка захтева лаптоп са RTX 4090, док захтевније вештине могу тражити додатне рачунарске ресурсе.

Извори и додатна литература

  • HomeBody project page from Caltech and Stanford researchers — Примарни извор о систему, кухињским демонстрацијама, симулираној репризи, интерфејсима вештина, контролној поставци и наведеним ограничењима. Страница је датирана на септембар 2026; одабрани видео-снимци и описи представљају доказе тима, а не независну евалуацију.
  • Stanford TML public HomeBody repository — Повезан са странице пројекта. На дан провере, 27. септембра 2026, у README-у је стајало да код ускоро стиже; јавно стабло садржи материјале за веб-сајт, а не имплементацију робота или цео научни рад.