Runway는 Praxis-1을 발표했으며, 이는 회사가 자사 월드 모델의 기반이라고 설명하는 대규모 동영상 사전 학습을 활용한 로봇 정책이다. 회사는 선정된 로봇공학 파트너의 장비에서 시험했다고 밝혔다. 앞으로 몇 달 안에 모델 가중치를 공개할 계획이지만, BIG CHANGE가 10월 3일 확인했을 때 발표 페이지에는 가중치가 없었다. Runway는 날짜를 특정하지 않은 채 페이지가 2026년 9월에 작성됐다고 표시했다.

핵심 질문은 일상적인 동영상이 로봇 시연을 통해 학습하기 전에 로봇 정책에 유용한 지식을 제공할 수 있느냐는 것이다. Runway는 배치 오차 비교와 일부 작업 영상을 제시한다. 결과를 재현하는 데 필요한 세부 정보는 아직 공개되지 않았다.

큰 변화

  • 무엇이 달라졌나: Runway는 동영상 사전 학습을 로봇 동작 예측에 적용하고 여러 종류의 파트너 하드웨어에서 시험했다고 밝혔다. 로봇 시연 데이터를 수집하는 데 비용이 많이 드는 분야에서 풍부한 제3자 시점 영상을 활용할 가능성을 제시한다. Praxis-1은 아직 선정된 사용자에게만 제공된다.
  • 왜 중요한가: Runway의 차트에 따르면 미세 조정 후 최종 배치 오차는 웹 동영상 사전 학습에서 16.1cm, 원격 조작 로봇 동영상 사전 학습에서 16.0cm다. 표시된 점 추정치는 서로 가깝다. 평가 쌍 93개에 대한 ±1 SEM 오차 막대만으로는 유의한 차이나 동등성을 입증할 수 없으며, 공개된 프로토콜도 다른 로봇에서의 성능을 판단하기에는 너무 제한적이다.
  • 앞으로 볼 점: 가중치 공개, 작업별 평가 세부 정보, 파트너의 결과가 공개되면 연구자들은 동영상 사전 학습의 기여도와 각 로봇에 필요한 적응 작업을 평가할 수 있다. Runway는 가중치 공개를 약속했지만 확정된 날짜는 제시하지 않았다.

동영상은 정책에 어떻게 들어가는가

Runway의 Praxis-1 연구 페이지는 자사의 대규모 동영상 모델이 물체의 움직임, 손 동작, 물리적 작업의 패턴을 학습한다고 설명한다. 회사는 Praxis-1이 이 사전 학습을 범용 로봇 정책에 적용한다고 말한다. 제3자 시점 영상이 작업별 로봇 훈련에 앞서 유용한 출발점이 될 수 있다는 것이 회사의 주장이다. 페이지는 제3자 시점 동영상의 규모가 커질수록 정책 성능이 향상된다고 설명한다.

페이지에는 Praxis-1의 관측 형식, 동작 출력, 미세 조정 절차, 추론 인터페이스, 제어 주기가 설명되어 있지 않다. 가중치 파일이나 하드웨어 요구 사항도 제공하지 않는다. 이런 정보의 부재는 특정 카메라, 그리퍼, 이동형 베이스에 어떤 적응이 필요한지 추산하려는 엔지니어에게 중요하다. Runway는 별도의 GWM-1 정책 모델 제품 페이지에서 맞춤형 미세 조정 및 클라우드 SDK 구성을 설명한다. 그 인터페이스와 상업적 조건이 Praxis-1에도 적용된다고 간주해서는 안 된다.

Runway의 영상에는 테니스공을 놓으라는 지시, 선반으로 다가가 책을 집는 이동형 베이스, 같은 물체가 반복되는 장면, 어수선한 환경, 투명한 소재, 천을 다루는 사례가 나온다. 또 다른 영상에는 같은 정책이 재훈련 없이 스튜디오와 주방을 오가는 모습이라는 설명이 붙어 있다. 개발자가 선택한 사례이며, 페이지는 각 사례의 시험 횟수나 성공률을 보고하지 않는다.

배치 오차 차트가 보여 주는 것

Runway 페이지에 나온 유일한 수치 비교는 미세 조정 후 최종 배치 오차이며, 단위는 센티미터이고 값이 낮을수록 좋다. 차트는 웹 동영상 사전 학습을 처음부터 적용한 경우를 16.1cm, 원격 조작 로봇 동영상 사전 학습을 처음부터 적용한 경우를 16.0cm로 표시한다. Runway는 사전 학습 동영상의 시간을 가로축에 나타냈고, 오차 막대와 음영 구간이 평가 쌍 93개에서 평균 표준 오차의 ±1배을 나타낸다고 설명한다. 막대 하나보다 작은 차이는 유의하지 않다는 주석도 있다.

표시된 점 추정치의 차이는 0.1cm다. Runway는 이 페이지에서 작업 구성, 로봇과 환경의 수, 93개 쌍을 구성한 방법, 미세 조정에 사용한 로봇 데이터의 양, 완전한 통계 검정을 공개하지 않았다. Runway가 보여 주기로 선택한 비교에서 미세 조정 후 보고된 최종 배치 오차 점 추정치는 서로 가깝다. 이 차트는 해당 측정치에서 통계적으로 유의한 차이나 동등성을 입증하지 않는다. 영상에 나온 더 긴 작업을 안정적으로 완료하는지, 실제 배치에 필요한 데이터가 줄어드는지도 보여 주지 못한다.

Runway는 시뮬레이션 결과와 실제 로봇 정책 결과 사이의 상관관계 0.95를 제시한다. 이 수치는 앞서 수행한 정책 평가 연구에서 나온 것으로, 해당 연구는 Franka Panda 로봇 팔 하나로 탁상 작업을 수행하는 정책 8개의 순위를 매겼다. 이는 정책 평가에 관한 별도의 연구이지, Praxis-1의 현장 성능을 측정한 결과가 아니다.

접근 가능성 현황

Runway는 Noble Machines, Standard Bots, Ultra를 자사 하드웨어에서 Praxis-1을 사용하는 초기 파트너로 꼽았다. 발표문은 이 부분에서 양손 조작, 6자유도 로봇 팔, 이동형 베이스를 설명한다. Runway는 일반 제공에 앞서 다양한 로봇 형태와 환경에서 효과와 안전성을 평가하고 있으며, 추가로 선정될 파트너에게 로봇공학팀에 연락하라고 안내한다.

해당 프로그램에 참여하지 않는 연구자에게 제공된 자료는 발표문, 차트, 영상뿐이다. 페이지에는 Praxis-1 가중치의 공개 다운로드, 공개된 통합 절차, 재현 가능한 평가 패키지가 연결되어 있지 않다. Runway는 접근 비용, 향후 가중치 라이선스, 컴퓨팅 요구 사항, 일반 공개 날짜를 밝히지 않았다. 조기 접근을 검토하는 팀은 공개 자료를 활용해 자체 하드웨어와 평가 요구 사항을 논의할 수 있지만, 발표문만으로 보고된 비교를 재현할 수는 없다. BIG CHANGE는 접근을 요청하거나 로봇을 시험하지 않았다.

앞서 보도한 GPT-Policy와 HomeBody는 서로 다른 연구 질문을 다룬다. GPT-Policy는 고정된 비전-언어 모델에 시연과 로봇 피드백을 프롬프트로 제공한다. HomeBody는 휴머노이드의 실내 공간 기억을 재사용 가능한 기술과 연결한다. Praxis-1은 광범위한 동영상 사전 학습이 정책 자체를 개선할 수 있는지 묻는다. Runway는 보고된 비교를 넘어 성능을 확인할 수 있을 만큼의 구현이나 평가 세부 정보를 아직 공개하지 않았다.

출처 및 추가 읽을거리