Роботизированная политика, обученная копировать успешные демонстрации, может испытывать трудности, если захват не удался или рука оказалась в положении, не охваченном записанной траекторией. В статье от 9 октябряисследователи Китайской академии наук и Пекинского университета описывают способ обучать политики «зрение—язык—действие» (VLA) на прогрессе задачи, используя уже имеющиеся траектории роботов. Их метод Offline Goal-conditioned Policy Optimization (OGPO) повысил долю успешных выполнений в симуляционных тестах манипуляции, включавших возмущения во время выполнения. В статье не сообщается о внедрении на физических роботах или независимом воспроизведении результатов.

Главное изменение

  • Что изменилось: OGPO помечает этапы записанных траекторий роботов как достижимые состояния прогресса задачи, а затем использует эти метки, чтобы во время офлайн-обучения вознаграждать действия, приближающие политику к следующему этапу.
  • Почему это важно: Политика, усвоившая ценность достижения промежуточного состояния, может иметь больше вариантов, когда захват или движение отклоняются от продемонстрированного пути. Статья проверяет эту идею в симуляции, но не доказывает надежность на физическом роботе.
  • За чем следить: Независимое воспроизведение, результаты на физических манипуляторах и задачи, прогресс в которых нельзя разделить по событиям захвата, помогли бы определить границы применимости метода.

Обучение прогрессу на записанных попытках

Авторы начинают с успешных демонстраций и неудачных траекторий. OGPO делит каждую траекторию при изменении состояния захвата, например при открытии или закрытии, и назначает каждому сегменту локальную цель. Завершенные сегменты получают положительную метку. Модель зрения и языка отмечает, достигли ли сегменты неудачных траекторий своих локальных целей, поэтому даже запуск, завершившийся неудачей, может дать свидетельства промежуточного прогресса. В разделе о методе авторы описывают этот процесс разметки и цели обучения.

Метки создают обучающую награду за движение к завершенным состояниям, бонус за их достижение и штраф, если сегмент не достигает цели. Модель ценности оценивает, за какими наблюдаемыми состояниями следует прогресс. Затем OGPO повышает вес записанных действий с более высокой расчетной ожидаемой выгодой, сохраняя при этом контролируемую тонкую настройку на успешных демонстрациях как априорное знание о действиях. Локальная цель используется для формирования наград во время обучения; она не является дополнительным входом для развернутой политики или ее функции ценности. Согласно деталям реализации в статье, модель ценности применяется во время обучения.

Эта конструкция решает узкую проблему имитационного обучения. Копирование экспертного действия на каждом записанном шаге сообщает модели, что происходило на этом пути. OGPO пытается сделать промежуточные результаты полезными, когда политика встречает допустимое отклонение. Способность восстановиться по-прежнему зависит от содержимого фиксированного набора данных. Авторы прямо предупреждают, что серьезные отклонения за пределами этих данных могут остаться недостижимыми.

Что показывают бенчмарки

Авторы проверили OGPO на симуляционных наборах манипуляций LIBERO и MetaWorld, используя VLA-основы π0 и π0.5. В сравнении LIBERO из статьи средний результат few-shot контролируемой базовой политики π0.5 составил 77,1% успеха задач; у той же исходной политики с OGPO средний показатель был 97,1% . На LIBERO-Long опубликованный результат вырос с 43,9% до 93,2% . Это доли успеха для указанных бенчмарка и исходной политики, а не общий показатель успеха роботов.

В двух режимах возмущения восстановление проверяется более непосредственно. LIBERO-Plus меняет ракурс камеры, начальное состояние робота, визуальный шум или расположение объектов. Расширение авторов LIBERO-ReAct нарушает выполнение с помощью шума действий, инвертированной команды захвата или изменения положения конечного исполнительного звена в выбранном интервале из 20 шагов. По сравнению с full-shot контролируемой базовой политикой π0.5 в таблице устойчивости совокупная оценка OGPO составила 81,8% против 76,7% . При инвертированной команде захвата успех был 87,7% против 76,8% . Результат для изменения ракурса камеры пошел в обратную сторону: с 62,8% у базовой политики до 61,5% у OGPO . Таким образом, совокупное улучшение не охватывает все возмущения.

Исследователи также убрали части схемы обучения. Их абляции показывают снижение результатов при исключении награды за промежуточную цель или офлайн-компонента обучения с подкреплением; удаление контролируемого компонента тоже ухудшает результат. Это помогает определить источник выигрыша в конфигурации авторов, но не является независимой проверкой метода.

Сохраняющееся ограничение

Изменения захвата задают границы траекторий OGPO. Авторы признают, что это может плохо подходить задачам, в которых нет естественного события захвата, разделяющего прогресс. Они также отмечают зависимость от качества и охвата офлайн-данных. Представленные тесты — симуляционные бенчмарки манипуляций; статья не приводит измеренную долю завершения задач физическими роботами или результаты по эксплуатационной безопасности.

Для команд, оценивающих офлайн-обучение VLA, статья предлагает конкретное сравнение: обучать на одних и тех же записанных траекториях, а затем проверять выполнение задач после контролируемых отклонений. Самые сильные свидетельства получены в симуляционных манипуляциях, особенно при возмущении захвата во время выполнения. BIG CHANGE изучила статью и приведенные в ней таблицы; мы не обучали модель и не испытывали робота.

Источники и дополнительная литература