以成功示範訓練、用來模仿示範的機器人策略，可能難以應付抓取失敗，或手臂落在記錄路徑未涵蓋的位置。在一篇10 月 9 日的論文中，中國科學院與北京大學研究人員提出一種方法，利用既有機器人軌跡，依據任務進度訓練視覺—語言—動作（VLA）策略。他們稱此方法為 Offline Goal-conditioned Policy Optimization（OGPO），並在包含執行中途干擾的模擬操作測試中提高成功率。論文未報告實體機器人部署或獨立重現。

重大變化

  • 變化內容：OGPO 將記錄下來的機器人軌跡階段標記為可達成的任務進度狀態，再於離線訓練時運用這些標籤，獎勵推動策略邁向下一階段的動作。
  • 為何重要：學會到達中間狀態價值的策略，在抓取或動作偏離示範路徑時，可能有更多選擇。論文在模擬中測試這項主張；它並未證明實體機器人的可靠性。
  • 觀察重點：獨立重現、實體操作機器人的結果，以及進度無法按夾爪事件劃分的任務，將有助於釐清方法的適用範圍。

從記錄的嘗試中學習進度

作者從成功示範和失敗軌跡著手。OGPO 在夾爪狀態改變時（例如張開或閉合）切分每條軌跡，並為每個片段指定局部目標。完成的片段會取得正向標籤。視覺—語言模型會標註失敗軌跡中的片段是否達到局部目標，因此即使一次執行最後失敗，仍可提供中間進度的證據。作者的方法章節說明了這項標註流程與訓練目標。

這些標籤會形成訓練獎勵，鼓勵朝完成狀態移動、在到達時給予額外獎勵，並在片段未達目標時予以懲罰。價值模型估算哪些觀察狀態之後會出現進展。OGPO 接著提高估計優勢較大的記錄動作權重，同時保留以成功示範進行監督式微調，作為動作先驗。局部目標用於訓練期間建構獎勵；它不是部署後策略或其價值函數的額外輸入。依據論文實作細節，價值模型在訓練期間使用。

這項設計處理的是模仿訓練中的一個狹義問題。在每個記錄步驟複製專家動作，只能告訴模型該路徑上發生了什麼。OGPO 試圖讓策略遇到可行偏離時，中間結果也能提供資訊。恢復能力仍取決於固定資料集包含的內容。作者明確警告，超出這些資料範圍的嚴重偏離可能仍無法應付。

基準測試結果

作者在 LIBERO 與 MetaWorld 模擬操作套件上測試 OGPO，使用 π0 與 π0.5 VLA 骨幹模型。論文的 LIBERO 比較中，π0.5 few-shot 監督式基線平均77.1%任務成功率；相同初始策略使用 OGPO 後平均為97.1%。在 LIBERO-Long 上，報告結果從43.9% 升至 93.2%。這些是指定基準和起始策略的任務成功率，並非一般機器人成功率。

兩種擾動設定更直接測試了恢復能力。LIBERO-Plus 會改變相機視角、機器人初始狀態、視覺雜訊或物體配置。作者的 LIBERO-ReAct 擴充會在選定的 20 步區間內，透過動作雜訊、反轉夾爪指令或改變末端執行器位置來干擾執行。在其穩健性表格中，相較 π0.5 full-shot 監督式基線，OGPO 綜合得分為81.8% 對 76.7%。夾爪指令反轉時，成功率為87.7% 對 76.8%。相機視角改變時的表現則相反：從基線的 62.8% 降至 OGPO 的 61.5%。因此，整體提升並未涵蓋所有干擾。

研究人員也移除了訓練配方中的部分項目。消融實驗顯示，拿掉中間目標獎勵或離線強化項後，表現會下降；移除監督項也會造成損害。這有助於在作者的設定中定位增益來源，但並非對該方法的獨立測試。

仍存的限制

夾爪變化提供 OGPO 的軌跡邊界。作者承認，若任務進度沒有自然的夾爪事件，這種方式可能不太適用。他們也指出該方法依賴離線資料的品質與範圍。報告中的測試是模擬操作基準，論文沒有提供實體機器人測得的任務完成率或操作安全結果。

對評估離線 VLA 訓練的團隊而言，論文提供了具體比較方式：使用相同記錄軌跡訓練，再測試受控偏離後的任務完成情形。最有力的證據來自模擬操作，尤其是執行中途的夾爪干擾。BIG CHANGE 審閱了論文及其報告表格；我們沒有訓練模型，也沒有測試機器人。

來源與延伸閱讀