世界從未停止變化。RSS
BIG CHANGE.

Markdown 版本

AI-translated from English; not yet reviewed by a fluent editor.

# OGPO 訓練機器人策略，讓它從模擬動作錯誤中恢復

> 一種離線訓練方法為機器人軌跡中的進度加上標籤，並在多種執行干擾下改善模擬操作結果。其在實體機器人上的可靠性尚未經過測試。

By BIG CHANGE Editorial

Published: 2026-10-12T08:04:09.296Z
Updated: 2026-10-12T08:04:09.296Z
Canonical: https://bigchange.ai/blog/ogpo-offline-vla-robot-recovery

![A conceptual robotic arm with an open gripper above a tipped orange block beside a shallow tray holding an upright block.](https://bigchange.ai/api/media/file/ogpo-recovery-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. It does not depict an OGPO test or a physical deployment.

以成功示範訓練、用來模仿示範的機器人策略，可能難以應付抓取失敗，或手臂落在記錄路徑未涵蓋的位置。在一篇[10 月 9 日的論文](https://arxiv.org/html/2610.12914)中，中國科學院與北京大學研究人員提出一種方法，利用既有機器人軌跡，依據任務進度訓練視覺—語言—動作（VLA）策略。他們稱此方法為 Offline Goal-conditioned Policy Optimization（OGPO），並在包含執行中途干擾的模擬操作測試中提高成功率。論文未報告實體機器人部署或獨立重現。

## 重大變化

- **變化內容：**OGPO 將記錄下來的機器人軌跡階段標記為可達成的任務進度狀態，再於離線訓練時運用這些標籤，獎勵推動策略邁向下一階段的動作。
- **為何重要：**學會到達中間狀態價值的策略，在抓取或動作偏離示範路徑時，可能有更多選擇。論文在模擬中測試這項主張；它並未證明實體機器人的可靠性。
- **觀察重點：**獨立重現、實體操作機器人的結果，以及進度無法按夾爪事件劃分的任務，將有助於釐清方法的適用範圍。

## 從記錄的嘗試中學習進度

作者從成功示範和失敗軌跡著手。OGPO 在夾爪狀態改變時（例如張開或閉合）切分每條軌跡，並為每個片段指定局部目標。完成的片段會取得正向標籤。視覺—語言模型會標註失敗軌跡中的片段是否達到局部目標，因此即使一次執行最後失敗，仍可提供中間進度的證據。作者的[方法章節](https://arxiv.org/html/2610.12914)說明了這項標註流程與訓練目標。

這些標籤會形成訓練獎勵，鼓勵朝完成狀態移動、在到達時給予額外獎勵，並在片段未達目標時予以懲罰。價值模型估算哪些觀察狀態之後會出現進展。OGPO 接著提高估計優勢較大的記錄動作權重，同時保留以成功示範進行監督式微調，作為動作先驗。局部目標用於訓練期間建構獎勵；它不是部署後策略或其價值函數的額外輸入。依據論文實作細節，價值模型在訓練期間使用。

這項設計處理的是模仿訓練中的一個狹義問題。在每個記錄步驟複製專家動作，只能告訴模型該路徑上發生了什麼。OGPO 試圖讓策略遇到可行偏離時，中間結果也能提供資訊。恢復能力仍取決於固定資料集包含的內容。作者明確警告，超出這些資料範圍的嚴重偏離可能仍無法應付。

## 基準測試結果

作者在 LIBERO 與 MetaWorld 模擬操作套件上測試 OGPO，使用 π0 與 π0.5 VLA 骨幹模型。論文的 LIBERO 比較中，π0.5 few-shot 監督式基線平均**77.1%**任務成功率；相同初始策略使用 OGPO 後平均為**97.1%**。在 LIBERO-Long 上，報告結果從**43.9% 升至 93.2%**。這些是指定基準和起始策略的任務成功率，並非一般機器人成功率。

兩種擾動設定更直接測試了恢復能力。LIBERO-Plus 會改變相機視角、機器人初始狀態、視覺雜訊或物體配置。作者的 LIBERO-ReAct 擴充會在選定的 20 步區間內，透過動作雜訊、反轉夾爪指令或改變末端執行器位置來干擾執行。在其穩健性表格中，相較 π0.5 full-shot 監督式基線，OGPO 綜合得分為**81.8% 對 76.7%**。夾爪指令反轉時，成功率為**87.7% 對 76.8%**。相機視角改變時的表現則相反：從**基線的 62.8% 降至 OGPO 的 61.5%**。因此，整體提升並未涵蓋所有干擾。

研究人員也移除了訓練配方中的部分項目。消融實驗顯示，拿掉中間目標獎勵或離線強化項後，表現會下降；移除監督項也會造成損害。這有助於在作者的設定中定位增益來源，但並非對該方法的獨立測試。

## 仍存的限制

夾爪變化提供 OGPO 的軌跡邊界。作者承認，若任務進度沒有自然的夾爪事件，這種方式可能不太適用。他們也指出該方法依賴離線資料的品質與範圍。報告中的測試是模擬操作基準，論文沒有提供實體機器人測得的任務完成率或操作安全結果。

對評估離線 VLA 訓練的團隊而言，論文提供了具體比較方式：使用相同記錄軌跡訓練，再測試受控偏離後的任務完成情形。最有力的證據來自模擬操作，尤其是執行中途的夾爪干擾。BIG CHANGE 審閱了論文及其報告表格；我們沒有訓練模型，也沒有測試機器人。

## 來源與延伸閱讀

- [OGPO 論文，arXiv v1，2026 年 10 月 9 日](https://arxiv.org/html/2610.12914)：方法、基準設定、主要表格、消融實驗、實作細節及聲明的限制。arXiv 紀錄指出論文已獲 NeurIPS 2026 接受。結果由作者報告。
- [arXiv 摘要與版本紀錄](https://arxiv.org/abs/2610.12914)：標題、作者、提交時間及版本狀態。
- [BIG CHANGE 關於 H-JEPA 視覺規劃的報導](https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning)：關於分層視覺世界模型規劃的相關機器人研究。H-JEPA 是不同的方法和論文，評估證據也不同。

## Sources

- [OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models，完整 HTML 論文](https://arxiv.org/html/2610.12914) — 作者的主要論文。§§3–5、表 1–3、消融實驗及附錄 E–F 說明方法、模擬器結果、實作與聲明的限制。結果由作者報告。
- [OGPO 的 arXiv 摘要與版本紀錄](https://arxiv.org/abs/2610.12914) — 標題、作者、提交時間、v1 狀態，以及 arXiv 註記中關於獲 NeurIPS 2026 接受的資訊。
- [BIG CHANGE：H-JEPA 以分層世界模型改善模擬任務中的視覺規劃](https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning) — 相關但不同的機器人方法及其證據界線；僅作背景，沒有 followUpTo 關係。