Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# HomeBody связывает пространственную память с переиспользуемыми навыками робота

> Исследователи из Калтеха и Стэнфорда показывают, как Unitree G1 использует сохраненную карту кухни и готовые навыки. В публикации представлены отдельные демонстрации, но нет контролируемых результатов, полной статьи или кода робота.

By BIG CHANGE Editorial

Published: 2026-09-27T14:28:31.966Z
Updated: 2026-09-27T14:28:31.966Z
Canonical: https://bigchange.ai/blog/homebody-humanoid-spatial-memory-robot-skills

![Conceptual charcoal illustration of a white humanoid robot walking toward a closed drawer in a light wood kitchen.](https://bigchange.ai/api/media/file/homebody-kitchen-g1-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE.

Команда из Калтеха и Стэнфорда [представила HomeBody](https://tml.stanford.edu/homebody/), исследовательскую систему, в которой GPT Astra управляет роботом Unitree G1 при выполнении кухонных задач, вызывая навыки навигации и манипуляции. Сначала робот исследует помещение и сохраняет сведения о местах, где видел предметы. В демонстрациях команды он собирает пакеты кофе, выбрасывает указанные коробки и достает из ящика флакон лекарства, даже когда предмет уже исчез из поля зрения камеры.

## Главное изменение

- **Что изменилось:** HomeBody предоставляет мультимодальной языковой модели доступ к пространственной записи исследованного помещения и общему интерфейсу навыков робота. Модель выбирает навык и цель; локальное ПО планирует движение и выполняет его, а затем сообщает результат.
- **Почему это важно:** Модель может планировать действия в разных местах и использовать обратную связь без обучения новой политике действий для этой кухни. Демонстрации команды показывают, как память и уже имеющиеся моторные навыки можно объединить для выполнения более длинных задач.
- **Что пока остается неизвестным:** В открытой публикации показаны отдельные демонстрации, но не результаты контролируемого исследования успешности. По состоянию на 27 сентября полная статья и код робота публично недоступны, поэтому заявленные результаты пока нельзя независимо воспроизвести по материалам релиза.

## Как робот запоминает помещение

Работа HomeBody начинается с исследования помещения. Согласно [описанию развертывания проекта](https://tml.stanford.edu/homebody/), G1 собирает видео с широкоугольного iPhone, данные камеры D435i, сканы лидара, положения суставов и выбранные моделью путевые точки. Лидарная SLAM-карта задает измеренную геометрию помещения. Astra использует эти материалы для построения цифрового двойника в Nvidia Isaac Sim. Команда совмещает карту с реконструкцией, чтобы сохраненные изображения с камеры и текущее положение робота находились в одной системе координат.

Такая подготовка важна, когда в инструкции упоминается предмет, которого робот сейчас не видит. По словам команды, для поиска лекарства HomeBody обращается к сохраненным ключевым кадрам камеры, чтобы найти ящик, подъезжает к нему, открывает его и берет флакон. Модель помещения помогает с навигацией и восстановлением местоположения; при непосредственном физическом взаимодействии робот по-прежнему ориентируется на изображение с камеры.

Интерактивный [виртуальный проход по кухне](https://tml.stanford.edu/homebody/) — на странице проекта прямо обозначен как иллюстративный и происходит в реконструированном помещении. Отдельно там опубликованы видео, на которых G1 выполняет кухонные задачи; ролики с навыками навигации, захвата, размещения и открытия ящика обозначены как съемка реального робота. Эти видео документируют отдельные запуски, выбранные командой, а симулированное воспроизведение поясняет последовательность планирования.

## От решения модели к движению

Модель получает задачу, текущее изображение с камеры, контекст карты, состояние захвата, восстановленные наблюдения и результат предыдущего навыка. Она отправляет структурированный вызов с названием навыка и целью. Для захвата цель задается точкой на изображении по шкале от 0 до 1000 и выбором руки. Локальная система восприятия сегментирует предмет, оценивает глубину по стереоизображениям и преобразует выбор в трехмерную точку захвата. Затем планировщик руки рассчитывает и проверяет траекторию движения. Навигация использует двумерную цель и направление взгляда в координатах карты; размещение — трехмерную точку отпускания. Открытие ящика объединяет выравнивание по ручке, зацеп и движение назад в одно действие.

Навыки выполняют небольшие корректировки на локальном уровне. Команда описывает визуальное отслеживание при приближении и ограниченное число повторных попыток, если захват не удался. Если восстановить выполнение не получается, навык возвращает Astra причину для следующего решения. Ходьба и дотягивание опираются на предварительно обученный контроллер всего тела AMO. На странице сказано, что команды руке и кисти выполняются с частотой 250 Гц, а политика AMO обновляется с частотой 50 Гц. Astra работает удаленно; восприятие, планирование движений и навыки выполняются на ноутбуке с графическим процессором RTX 4090.

Astra выбирает *какое* действие попробовать и *где*; библиотека навыков и контроллеры определяют *как* движется G1. По словам команды, для кухонных демонстраций не использовались данные обучения, специфичные для этой среды, и не проводилось дополнительное обучение политики. Однако в системе по-прежнему задействованы предварительно обученное управление и существенная реконструкция помещения.

## Что показывают демонстрации

На странице проекта описаны две физические последовательности задач в незнакомой кухне. В одной G1 собирает пакеты кофе в одном месте и выбрасывает указанные коробки из-под молока и апельсинового сока. В другой робот находит флакон лекарства по недостаточно конкретной просьбе, достает его из ящика, передает человеку и выбрасывает коробку. В роликах с отдельными навыками показаны действия и записанные повторные попытки; страница уточняет, что большинство превью ускорено, и отдельно отмечает последовательность захвата из ящика с непрерывными повторными попытками.

В публикации нет числа испытаний, доли успешно выполненных задач, сравнения с обученной политикой vision-language-action или данных о времени и стоимости каждого завершенного кухонного запуска. Поэтому материалы демонстрируют архитектуру, но не подтверждают количественно, что решение надежно работает на других кухнях. В [связанном публичном репозитории](https://github.com/Stanford-TML/homebody) сейчас написано «Код скоро появится», а у метки Paper на странице проекта нет ссылки на рукопись. В репозитории размещены сайт, иллюстрации и видео, но нет реализации для робота или файлов с оценкой результатов. BIG CHANGE не запускал HomeBody и не испытывал робота.

В более раннем материале BIG CHANGE о системе [GPT-Policy](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) рассматривалась статья другой команды о контексте для действий робота. В материалах HomeBody не сказано, что эта статья относится к данной системе.

Команда перечисляет практические ограничения: создание цифрового двойника требует времени на настройку и затрат на API; удаленная обработка запросов Astra вызывает паузы между навыками; дальность движения и возможности манипуляции ограничивают действия G1; сервоприводы пальцев могут перегреваться при длительной работе. Для локальной системы нужен ноутбук с RTX 4090, а более ресурсоемким навыкам может потребоваться дополнительная вычислительная мощность.

## Источники и дополнительная литература

- [Страница проекта HomeBody исследователей из Калтеха и Стэнфорда](https://tml.stanford.edu/homebody/) — первичный рассказ о системе, кухонных демонстрациях, симулированном воспроизведении, интерфейсах навыков, системе управления и заявленных ограничениях. Страница датирована сентябрем 2026 года; избранные видео и описания отражают свидетельства самой команды, а не независимую оценку.
- [Публичный репозиторий HomeBody группы Stanford TML](https://github.com/Stanford-TML/homebody) — на него ссылается страница проекта. По состоянию на 27 сентября 2026 года в README сказано, что код появится позднее; в публичном дереве находятся материалы сайта, а не реализация робота или полная статья.

## Sources

- [Страница проекта HomeBody исследователей из Калтеха и Стэнфорда](https://tml.stanford.edu/homebody/) — Первичный рассказ авторов об архитектуре, физических демонстрациях на кухне, явно обозначенном иллюстративном симулированном проходе, интерфейсах навыков, вычислительной конфигурации и заявленных ограничениях. Избранные кадры и описания не являются независимой контролируемой оценкой. Метка Paper не ведет на рукопись.
- [Публичный репозиторий HomeBody группы Stanford TML](https://github.com/Stanford-TML/homebody) — В README сказано, что код скоро появится. В публичном дереве находятся сайт проекта и медиаматериалы, но нет реализации робота или файлов оценки. Дата создания репозитория не подтверждает, когда проводился эксперимент.