Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# OGPO обучает роботизированные политики восстановлению после смоделированных ошибок действий

> Метод офлайн-обучения размечает прогресс в траекториях роботов и улучшает результаты симулированных манипуляций при нескольких возмущениях выполнения. Надежность на физических роботах еще не проверялась.

By BIG CHANGE Editorial

Published: 2026-10-12T08:04:09.296Z
Updated: 2026-10-12T08:04:09.296Z
Canonical: https://bigchange.ai/blog/ogpo-offline-vla-robot-recovery

![A conceptual robotic arm with an open gripper above a tipped orange block beside a shallow tray holding an upright block.](https://bigchange.ai/api/media/file/ogpo-recovery-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. It does not depict an OGPO test or a physical deployment.

Роботизированная политика, обученная копировать успешные демонстрации, может испытывать трудности, если захват не удался или рука оказалась в положении, не охваченном записанной траекторией. В[ статье от 9 октября](https://arxiv.org/html/2610.12914)исследователи Китайской академии наук и Пекинского университета описывают способ обучать политики «зрение—язык—действие» (VLA) на прогрессе задачи, используя уже имеющиеся траектории роботов. Их метод Offline Goal-conditioned Policy Optimization (OGPO) повысил долю успешных выполнений в симуляционных тестах манипуляции, включавших возмущения во время выполнения. В статье не сообщается о внедрении на физических роботах или независимом воспроизведении результатов.

## Главное изменение

- **Что изменилось:** OGPO помечает этапы записанных траекторий роботов как достижимые состояния прогресса задачи, а затем использует эти метки, чтобы во время офлайн-обучения вознаграждать действия, приближающие политику к следующему этапу.
- **Почему это важно:** Политика, усвоившая ценность достижения промежуточного состояния, может иметь больше вариантов, когда захват или движение отклоняются от продемонстрированного пути. Статья проверяет эту идею в симуляции, но не доказывает надежность на физическом роботе.
- **За чем следить:** Независимое воспроизведение, результаты на физических манипуляторах и задачи, прогресс в которых нельзя разделить по событиям захвата, помогли бы определить границы применимости метода.

## Обучение прогрессу на записанных попытках

Авторы начинают с успешных демонстраций и неудачных траекторий. OGPO делит каждую траекторию при изменении состояния захвата, например при открытии или закрытии, и назначает каждому сегменту локальную цель. Завершенные сегменты получают положительную метку. Модель зрения и языка отмечает, достигли ли сегменты неудачных траекторий своих локальных целей, поэтому даже запуск, завершившийся неудачей, может дать свидетельства промежуточного прогресса. В[ разделе о методе](https://arxiv.org/html/2610.12914) авторы описывают этот процесс разметки и цели обучения.

Метки создают обучающую награду за движение к завершенным состояниям, бонус за их достижение и штраф, если сегмент не достигает цели. Модель ценности оценивает, за какими наблюдаемыми состояниями следует прогресс. Затем OGPO повышает вес записанных действий с более высокой расчетной ожидаемой выгодой, сохраняя при этом контролируемую тонкую настройку на успешных демонстрациях как априорное знание о действиях. Локальная цель используется для формирования наград во время обучения; она не является дополнительным входом для развернутой политики или ее функции ценности. Согласно деталям реализации в статье, модель ценности применяется во время обучения.

Эта конструкция решает узкую проблему имитационного обучения. Копирование экспертного действия на каждом записанном шаге сообщает модели, что происходило на этом пути. OGPO пытается сделать промежуточные результаты полезными, когда политика встречает допустимое отклонение. Способность восстановиться по-прежнему зависит от содержимого фиксированного набора данных. Авторы прямо предупреждают, что серьезные отклонения за пределами этих данных могут остаться недостижимыми.

## Что показывают бенчмарки

Авторы проверили OGPO на симуляционных наборах манипуляций LIBERO и MetaWorld, используя VLA-основы π0 и π0.5. В сравнении LIBERO из статьи средний результат few-shot контролируемой базовой политики π0.5 составил **77,1%** успеха задач; у той же исходной политики с OGPO средний показатель был **97,1%** . На LIBERO-Long опубликованный результат вырос с **43,9% до 93,2%** . Это доли успеха для указанных бенчмарка и исходной политики, а не общий показатель успеха роботов.

В двух режимах возмущения восстановление проверяется более непосредственно. LIBERO-Plus меняет ракурс камеры, начальное состояние робота, визуальный шум или расположение объектов. Расширение авторов LIBERO-ReAct нарушает выполнение с помощью шума действий, инвертированной команды захвата или изменения положения конечного исполнительного звена в выбранном интервале из 20 шагов. По сравнению с full-shot контролируемой базовой политикой π0.5 в таблице устойчивости совокупная оценка OGPO составила **81,8% против 76,7%** . При инвертированной команде захвата успех был **87,7% против 76,8%** . Результат для изменения ракурса камеры пошел в обратную сторону: с **62,8% у базовой политики до 61,5% у OGPO** . Таким образом, совокупное улучшение не охватывает все возмущения.

Исследователи также убрали части схемы обучения. Их абляции показывают снижение результатов при исключении награды за промежуточную цель или офлайн-компонента обучения с подкреплением; удаление контролируемого компонента тоже ухудшает результат. Это помогает определить источник выигрыша в конфигурации авторов, но не является независимой проверкой метода.

## Сохраняющееся ограничение

Изменения захвата задают границы траекторий OGPO. Авторы признают, что это может плохо подходить задачам, в которых нет естественного события захвата, разделяющего прогресс. Они также отмечают зависимость от качества и охвата офлайн-данных. Представленные тесты — симуляционные бенчмарки манипуляций; статья не приводит измеренную долю завершения задач физическими роботами или результаты по эксплуатационной безопасности.

Для команд, оценивающих офлайн-обучение VLA, статья предлагает конкретное сравнение: обучать на одних и тех же записанных траекториях, а затем проверять выполнение задач после контролируемых отклонений. Самые сильные свидетельства получены в симуляционных манипуляциях, особенно при возмущении захвата во время выполнения. BIG CHANGE изучила статью и приведенные в ней таблицы; мы не обучали модель и не испытывали робота.

## Источники и дополнительная литература

- [статья OGPO, arXiv v1, 9 октября 2026 года](https://arxiv.org/html/2610.12914): метод, устройство бенчмарков, основные таблицы, абляции, детали реализации и заявленные ограничения. В записи arXiv указано, что статья принята на NeurIPS 2026. Результаты представлены авторами.
- [аннотация и запись версий arXiv](https://arxiv.org/abs/2610.12914): название, авторы, время подачи и статус версии.
- [материал BIG CHANGE о визуальном планировании H-JEPA](https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning): связанное исследование робототехники по планированию с иерархической моделью визуального мира. H-JEPA — отдельный метод и статья с другими оценочными свидетельствами.

## Sources

- [OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models, полный HTML-текст статьи](https://arxiv.org/html/2610.12914) — Основная статья авторов. §§3–5, таблицы 1–3, абляции и приложения E–F описывают метод, результаты симулятора, реализацию и заявленные ограничения. Результаты сообщают авторы.
- [аннотация OGPO и запись версий arXiv](https://arxiv.org/abs/2610.12914) — Название, авторы, время подачи, статус v1 и комментарий arXiv о принятии на NeurIPS 2026.
- [BIG CHANGE: H-JEPA улучшает визуальное планирование в симуляционных задачах с помощью иерархической модели мира](https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning) — Связанный, но отдельный робототехнический метод и граница доказательств; только контекст, без связи followUpTo.