세상은 멈춰 있지 않습니다.RSS
BIG CHANGE.

Markdown 버전

AI-translated from English; not yet reviewed by a fluent editor.

# OGPO는 시뮬레이션된 동작 오류에서 회복하도록 로봇 정책을 학습시킨다

> 오프라인 학습 방법이 로봇 궤적의 진행 단계에 라벨을 붙여 여러 실행 교란이 있는 시뮬레이션 조작 결과를 개선한다. 실제 로봇에서의 신뢰성은 아직 시험되지 않았다.

By BIG CHANGE Editorial

Published: 2026-10-12T08:04:09.296Z
Updated: 2026-10-12T08:04:09.296Z
Canonical: https://bigchange.ai/blog/ogpo-offline-vla-robot-recovery

![A conceptual robotic arm with an open gripper above a tipped orange block beside a shallow tray holding an upright block.](https://bigchange.ai/api/media/file/ogpo-recovery-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. It does not depict an OGPO test or a physical deployment.

성공 시연을 모방하도록 학습한 로봇 정책은 잡기가 실패하거나 팔이 기록된 경로에 없던 위치에 놓이면 어려움을 겪을 수 있다.[ 10월 9일 논문](https://arxiv.org/html/2610.12914)에서 중국과학원과 베이징대학교 연구진은 기존 로봇 궤적을 이용해 작업 진행을 기준으로 시각-언어-행동(VLA) 정책을 학습하는 방법을 보고했다. Offline Goal-conditioned Policy Optimization(OGPO)이라 부르는 이 방법은 실행 도중 교란이 포함된 시뮬레이션 조작 시험에서 성공률을 높였다. 논문은 실제 로봇 배치나 독립적인 재현 결과를 보고하지 않았다.

## 큰 변화

- **달라진 점:** OGPO는 기록된 로봇 궤적의 단계를 도달 가능한 작업 진행 상태로 표시한 뒤, 오프라인 학습 중 정책을 다음 단계로 움직이는 행동에 보상을 주는 데 그 라벨을 사용한다.
- **중요한 이유:** 중간 상태에 도달하는 가치를 학습한 정책은 잡기나 움직임이 시연 경로에서 벗어났을 때 더 많은 선택지를 가질 수 있다. 논문은 이 주장을 시뮬레이션에서 시험했을 뿐, 실제 로봇의 신뢰성을 입증하지는 않는다.
- **지켜볼 점:** 독립적 재현, 실제 조작기에서의 결과, 그리고 그리퍼 이벤트로 진행 단계를 나눌 수 없는 작업을 살펴보면 방법의 범위를 더 분명히 알 수 있다.

## 기록된 시도에서 진행을 학습하기

저자들은 성공 시연과 실패 궤적에서 출발한다. OGPO는 그리퍼가 열리거나 닫히는 등 상태가 바뀔 때 각 궤적을 나누고 각 구간에 국소 목표를 부여한다. 완료된 구간에는 긍정 라벨이 붙는다. 시각-언어 모델은 실패 궤적의 구간이 국소 목표를 달성했는지 표시하므로, 결국 실패한 실행도 중간 진행의 증거가 될 수 있다. 저자들의[ 방법 절](https://arxiv.org/html/2610.12914) 은 이 라벨링 과정과 학습 목표를 설명한다.

이 라벨은 완료 상태로 이동하는 데 학습 보상을, 그 상태에 도달하는 데 보너스를 주고, 구간이 목표에 미치지 못하면 페널티를 준다. 가치 모델은 관찰된 상태 뒤에 진행이 이어질지 추정한다. OGPO는 추정된 이점이 더 큰 기록 행동에 더 큰 비중을 두면서 성공 시연의 지도 미세조정을 행동 사전정보로 유지한다. 국소 목표는 학습 중 보상을 구성하는 데 쓰이며, 배포된 정책이나 가치 함수의 추가 입력은 아니다. 논문의 구현 설명에 따르면 가치 모델은 학습 중 사용된다.

이 설계는 모방 학습의 좁은 문제를 다룬다. 기록된 각 단계에서 전문가 행동을 복사하면 모델은 그 경로에서 일어난 일을 알게 된다. OGPO는 정책이 실행 가능한 이탈을 만났을 때 중간 결과도 정보가 되도록 시도한다. 회복 능력은 고정된 데이터셋에 무엇이 들어 있는지에 계속 좌우된다. 저자들은 데이터 범위를 크게 벗어난 이탈은 여전히 대응하기 어려울 수 있다고 명시적으로 경고한다.

## 벤치마크 결과

저자들은 π0 및 π0.5 VLA 백본을 사용해 LIBERO와 MetaWorld 시뮬레이션 조작 모음에서 OGPO를 시험했다. 논문의 LIBERO 비교에서 π0.5 퓨샷 지도학습 기준선은 평균 **77.1%** 의 작업 성공률을 보였고, 같은 초기 정책에 OGPO를 적용한 평균은 **97.1%**였다. LIBERO-Long에서 보고된 결과는 **43.9%에서 93.2%로**올랐다. 이는 지정된 벤치마크와 초기 정책의 작업 성공률이며, 일반적인 로봇 성공률은 아니다.

두 가지 교란 설정에서 회복을 더 직접적으로 시험한다. LIBERO-Plus는 카메라 시점, 로봇 초기 상태, 시각 잡음 또는 물체 배치를 바꾼다. 저자들의 LIBERO-ReAct 확장은 선택된 20단계 구간 동안 행동 잡음, 뒤집힌 그리퍼 명령 또는 말단장치 위치 변경으로 실행을 교란한다. 강건성 표의 π0.5 풀샷 지도학습 기준선과 비교할 때 OGPO의 종합 점수는 **81.8% 대 76.7%**였다. 그리퍼 명령을 뒤집었을 때 성공률은 **87.7% 대 76.8%**였다. 카메라 시점 성능은 반대 방향으로 움직여 **기준선 62.8%에서 OGPO 61.5%로**낮아졌다. 따라서 종합 개선이 모든 교란을 포괄하지는 않는다.

연구진은 학습 구성의 일부도 제거했다. 어블레이션 결과 중간 목표 보상이나 오프라인 강화 항을 빼면 성능이 낮아졌고, 지도학습 항을 제거해도 악화됐다. 이는 저자들의 설정에서 개선의 원인을 찾는 데 도움을 주지만, 방법의 독립적 시험은 아니다.

## 남아 있는 한계

그리퍼 변화가 OGPO의 궤적 경계를 제공한다. 저자들은 작업 진행에 자연스러운 그리퍼 이벤트가 없으면 이 방식이 잘 맞지 않을 수 있다고 인정한다. 오프라인 데이터의 품질과 범위에 대한 의존성도 지적한다. 보고된 시험은 시뮬레이션 조작 벤치마크이며, 논문에는 실제 로봇의 측정된 완료율이나 운영 안전 결과가 없다.

오프라인 VLA 학습을 평가하는 팀에 이 논문은 구체적인 비교 방법을 제시한다. 같은 기록 궤적으로 학습한 뒤 통제된 이탈 후 작업 완료를 시험하는 것이다. 가장 강한 근거는 시뮬레이션 조작, 특히 실행 도중의 그리퍼 교란에서 나온다. BIG CHANGE는 논문과 보고된 표를 검토했지만 모델을 학습시키거나 로봇을 시험하지는 않았다.

## 출처 및 추가 읽을거리

- [OGPO 논문, arXiv v1, 2026년 10월 9일](https://arxiv.org/html/2610.12914): 방법, 벤치마크 설정, 주요 표, 어블레이션, 구현 세부사항과 명시된 한계. arXiv 기록은 논문이 NeurIPS 2026에 채택됐다고 밝힌다. 결과는 저자 보고다.
- [arXiv 초록 및 버전 기록](https://arxiv.org/abs/2610.12914): 제목, 저자, 제출 시각과 버전 상태.
- [시각 계획 H-JEPA에 관한 BIG CHANGE 기사](https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning): 계층적 시각 세계 모델을 이용한 계획에 관한 관련 로봇 연구. H-JEPA는 평가 근거가 다른 별개의 방법과 논문이다.

## Sources

- [OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models, 전체 HTML 논문](https://arxiv.org/html/2610.12914) — 저자들의 주요 논문. §§3–5, 표 1–3, 어블레이션 및 부록 E–F가 방법, 시뮬레이터 결과, 구현과 명시된 한계를 설명한다. 결과는 저자 보고다.
- [OGPO arXiv 초록 및 버전 기록](https://arxiv.org/abs/2610.12914) — 제목, 저자, 제출 시각, v1 상태와 NeurIPS 2026 채택을 밝힌 arXiv 논평.
- [BIG CHANGE: H-JEPA는 계층적 세계 모델로 시뮬레이션 작업의 시각 계획을 개선한다](https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning) — 관련은 있지만 별개의 로봇 방법과 증거 범위다. 배경 정보일 뿐 followUpTo 관계는 없다.