2 октября Runway объявила о Praxis-1 — политике управления роботом, которая, по словам компании, опирается на масштабное предварительное обучение на видео, лежащее в основе ее моделей мира. Компания сообщает, что тестировала модель с отдельными партнерами в сфере робототехники на их собственном оборудовании. В ближайшие месяцы Runway планирует открыть веса модели; на странице объявления их еще не было, когда BIG CHANGE проверил ее 3 октября. На странице указано, что она датирована сентябрем 2026 года, но точный день не назван.

Главный вопрос — может ли обычное видео дать политике управления роботом полезные знания до обучения на демонстрациях работы роботов. Runway приводит сравнение ошибки позиционирования и отдельные видеоролики с примерами задач. Данные, необходимые для воспроизведения результата, пока не опубликованы.

Главное изменение

  • Что изменилось: Runway переносит предварительное обучение на видео в прогнозирование действий робота и сообщает об испытаниях на нескольких типах оборудования партнеров. Это может дать способ использовать обширные видеозаписи от третьего лица в области, где сбор демонстрационных данных роботов обходится дорого. Доступ к Praxis-1 пока предоставляется только отдельным участникам.
  • Почему это важно: На графике Runway указана конечная ошибка позиционирования после дообучения: 16,1 см для предварительного обучения на веб-видео и 16,0 см для предварительного обучения на видео телеуправляемых роботов. Представленные точечные оценки близки. Полосы ±1 SEM по 93 парам оценки не доказывают ни статистически значимого различия, ни эквивалентности, а опубликованного протокола недостаточно, чтобы судить о работе на другом роботе.
  • За чем следить: Открытая публикация весов, подробности оценки на уровне задач и результаты партнеров позволят исследователям понять, насколько полезно предварительное обучение на видео и какая адаптация нужна каждому роботу. Runway пообещала выпустить веса, но не назвала точную дату.

Как видео используется в политике управления

На странице исследований Praxis-1 от Runway говорится, что крупные видеомодели компании изучают закономерности поведения объектов, движений рук и физических задач. По словам компании, Praxis-1 переносит это предварительное обучение в универсальную политику управления роботом. Runway считает, что записи от третьего лица могут стать полезной отправной точкой перед обучением робота конкретным задачам. На странице также сказано, что производительность политики растет вместе с объемом видео от третьего лица.

На странице не описаны формат наблюдений Praxis-1, выдаваемые действия, процедура дообучения, интерфейс инференса или частота управления. Там также нет файлов весов и требований к оборудованию. Эти пробелы важны инженеру, которому нужно оценить адаптацию под конкретную камеру, захват или мобильную платформу. У Runway есть отдельная страница продукта GWM-1 — модели политики управления с описанием индивидуальной настройки и облачного SDK. Не следует считать, что ее интерфейс или коммерческие условия применимы к Praxis-1.

В роликах Runway показаны команда положить теннисный мяч в заданное место, мобильная платформа, подъезжающая к полке и берущая книгу, а также примеры с повторяющимися объектами, беспорядком, прозрачными материалами и тканью. Еще один ролик подписан как демонстрация перемещения одной и той же политики между студией и кухней без переобучения. Это примеры, отобранные разработчиком; на странице не указаны число испытаний или доля успешных попыток.

Что показывает график ошибки позиционирования

Единственное числовое сравнение на странице Runway — это конечная ошибка позиционирования после дообучения, измеренная в сантиметрах; меньшие значения лучше. На графике указана ошибка 16,1 см для предварительного обучения на веб-видео с нуля и 16,0 см. Runway показывает часы предварительного обучения на видео и сообщает, что полосы ошибок и диапазон отражают ±1 стандартную ошибку среднего по 93 парам оценки. В примечании сказано, что различия меньше длины полосы статистически незначимы.

Представленные точечные оценки различаются на 0,1 см. На этой странице Runway не опубликовала набор задач, число роботов и сред, способ формирования 93 пар, объем данных роботов, использованных при дообучении, или полный статистический тест. В выбранном Runway сравнении заявленные точечные оценки конечной ошибки позиционирования после дообучения близки. График не доказывает статистически значимого различия или эквивалентности по этой метрике. Он также не показывает, что длинные задачи из роликов надежно выполняются или что для реального внедрения требуется меньше данных.

Runway также ссылается на корреляцию 0,95 между результатами политик управления роботами в симуляции и реальном мире. Этот показатель взят из более раннего исследования оценки политик, в котором сравнивались восемь политик для настольных задач на одной руке Franka Panda. Это отдельное исследование оценки политик, а не показатель полевой эффективности Praxis-1.

Как обстоят дела с доступом

Runway называет Noble Machines, Standard Bots и Ultra ранними партнерами, которые используют Praxis-1 на собственном оборудовании. В этой части объявления упоминаются манипуляции двумя руками, манипулятор с шестью степенями свободы и мобильная платформа. Runway сообщает, что до общего выпуска оценивает эффективность и безопасность на разных типах роботов и в разных средах, и приглашает других выбранных партнеров связаться со своей командой по робототехнике.

Исследователям вне этой программы доступны объявление, график и ролики. На странице нет ссылок на открытые веса Praxis-1, опубликованную процедуру интеграции или воспроизводимый пакет оценки. Runway не указывает плату за ранний доступ, будущую лицензию на веса, требования к вычислительным ресурсам или дату общего выпуска. Команда, рассматривающая ранний доступ, может использовать общедоступные материалы, чтобы обсудить собственное оборудование и потребности в оценке, но не сможет воспроизвести заявленное сравнение только по объявлению. BIG CHANGE не запрашивала доступ и не испытывала робота.

В наших предыдущих материалах о GPT-Policy и HomeBody рассматривались другие исследовательские вопросы. GPT-Policy подает демонстрации и обратную связь от робота фиксированной визуально-языковой модели; HomeBody связывает память о помещении у человекоподобного робота с повторно используемыми навыками. Praxis-1 проверяет, может ли широкое предварительное обучение на видео улучшить саму политику управления. Runway еще не опубликовала реализацию и достаточно подробностей оценки, чтобы проверить ее работу за пределами приведенного сравнения.

Источники и дополнительная литература