Runway erprobt mit Praxis-1 einen video-trainierten Ansatz zur Robotersteuerung

Runway hat Praxis-1 vorgestellt, ein Robotersteuerungsmodell, das laut Unternehmen auf dem umfangreichen Video-Vortraining seiner Weltmodelle aufbaut. Runway berichtet von Tests mit ausgewählten Robotikpartnern auf deren eigenen Maschinen. In den kommenden Monaten sollen die Modellgewichte öffentlich erscheinen; als BIG CHANGE am 3. Oktober nachsah, waren sie auf der Ankündigungsseite noch nicht verfügbar. Runway datiert die Seite auf September 2026, nennt aber keinen konkreten Tag.

Dahinter steht die Frage, ob alltägliche Videos einem Robotersteuerungsmodell nützliches Wissen vermitteln können, bevor es anhand von Roboterdemonstrationen trainiert wird. Runway zeigt einen Vergleich der Platzierungsfehler und ausgewählte Aufgabenclips. Die für eine Reproduktion des Ergebnisses nötigen Details sind noch nicht veröffentlicht.

Die große Änderung

• Was sich geändert hat: Runway überträgt das Video-Vortraining auf die Vorhersage von Roboteraktionen und berichtet von Tests mit verschiedenen Arten von Partnerhardware. Dadurch könnten sich reichlich vorhandene Aufnahmen aus der Beobachterperspektive in einem Bereich nutzen lassen, in dem das Sammeln von Roboterdemonstrationen teuer ist. Praxis-1 steht weiterhin nur ausgewählten Partnern zur Verfügung.
• Warum das wichtig ist: Runways Diagramm weist nach dem Fine-Tuning einen endgültigen Platzierungsfehler von 16,1 cm beim Vortraining mit Webvideos und 16,0 cm beim Vortraining mit teleoperierten Robotervideos aus. Die dargestellten Punktschätzungen liegen nahe beieinander. Die ±1-SEM-Fehlerbalken über 93 Evaluierungspaare belegen weder einen signifikanten Unterschied noch Gleichwertigkeit. Das veröffentlichte Protokoll ist zudem zu begrenzt, um die Leistung auf einem anderen Roboter einzuschätzen.
• Worauf zu achten ist: Eine öffentliche Veröffentlichung der Gewichte, Details zur Evaluierung auf Aufgabenebene und Ergebnisse der Partner würden Forschenden helfen einzuschätzen, welchen Beitrag das Video-Vortraining leistet und welche Anpassungen die einzelnen Roboter benötigen. Runway hat die Gewichte angekündigt, aber keinen verbindlichen Veröffentlichungstermin genannt.

Wie Videos in das Steuerungsmodell einfließen

Runways Forschungsseite zu Praxis-1 zufolge lernen die großen Videomodelle Muster zum Verhalten von Objekten, zu Handbewegungen und zu physischen Aufgaben. Das Unternehmen erklärt, Praxis-1 übertrage dieses Vortraining auf ein vielseitig einsetzbares Robotersteuerungsmodell. Die Argumentation lautet, dass Aufnahmen aus der Beobachterperspektive einen nützlichen Ausgangspunkt vor dem aufgabenspezifischen Robotertraining liefern können. Laut Seite steigt die Leistung des Modells mit einer größeren Menge solcher Videos.

Die Seite beschreibt weder das Beobachtungsformat von Praxis-1 noch die Aktionsausgabe, das Fine-Tuning-Verfahren, die Inferenzschnittstelle oder die Steuerungsfrequenz. Auch Modelldateien und Hardwareanforderungen fehlen. Diese Lücken sind für Ingenieurinnen und Ingenieure relevant, die abschätzen müssen, welche Anpassungen für eine bestimmte Kamera, einen Greifer oder eine mobile Basis nötig wären. Runway hat eine separate Produktseite für das GWM-1-Policy-Modell, auf der ein individuelles Fine-Tuning und eine Cloud-SDK-Lösung beschrieben werden. Es ist nicht davon auszugehen, dass deren Schnittstelle und Geschäftsbedingungen auch für Praxis-1 gelten.

Runways Clips zeigen eine Anweisung, einen Tennisball zu platzieren, eine mobile Basis, die sich einem Regal nähert und ein Buch aufhebt, sowie Beispiele mit mehrfach vorkommenden Objekten, Unordnung, transparenten Materialien und Stoff. Ein weiterer Clip ist mit der Aussage versehen, dasselbe Modell bewege sich ohne erneutes Training zwischen einem Studio und einer Küche. Dies sind vom Entwickler ausgewählte Beispiele; die Seite nennt weder die Zahl der Versuche noch Erfolgsquoten.

Was das Diagramm der Platzierungsfehler aussagt

Der einzige Zahlenvergleich auf Runways Seite betrifft den endgültigen Platzierungsfehler nach dem Fine-Tuning, gemessen in Zentimetern; niedrigere Werte sind besser. Im Diagramm ist das Vortraining mit Webvideos von Grund auf mit 16,1 cm und das Vortraining mit teleoperierten Robotervideos von Grund auf mit 16,0 cm angegeben. Runway trägt die Vortrainingsstunden auf und erklärt, Fehlerbalken und Band stellten ±1 Standardfehler des Mittelwerts über 93 Evaluierungspaare dar. Der Hinweis im Diagramm besagt, Unterschiede unterhalb eines Balkens seien nicht signifikant.

Die dargestellten Punktschätzungen unterscheiden sich um 0,1 cm. Runway hat auf dieser Seite weder die Aufgabenmischung noch die Zahl der Roboter oder Umgebungen veröffentlicht. Ebenfalls offen bleibt, wie die 93 Paare gebildet wurden, welche Menge an Roboterdaten beim Fine-Tuning zum Einsatz kam und wie ein vollständiger statistischer Test aussah. Im von Runway gewählten Vergleich liegen die gemeldeten Punktschätzungen des endgültigen Platzierungsfehlers nach dem Fine-Tuning nahe beieinander. Das Diagramm belegt für diesen Messwert weder einen statistisch signifikanten Unterschied noch Gleichwertigkeit. Es zeigt auch nicht, ob die längeren Aufgaben in den Clips zuverlässig abgeschlossen werden oder ob im realen Einsatz weniger Daten benötigt werden.

Runway verweist außerdem auf eine Korrelation von 0,95 zwischen Ergebnissen von Robotersteuerungsmodellen in Simulationen und der realen Welt. Diese Zahl stammt aus der früheren Forschung zur Evaluierung von Robotersteuerungsmodellen, in der acht Steuerungsmodelle bei Tischaufgaben mit einem Franka-Panda-Arm verglichen wurden. Es handelt sich um eine separate Evaluierungsstudie, nicht um eine Messung der Praxis-1-Leistung im realen Einsatz.

Wie der Zugang geregelt ist

Runway nennt Noble Machines, Standard Bots und Ultra als erste Partner, die Praxis-1 auf eigener Hardware einsetzen. In diesem Abschnitt der Ankündigung werden beidhändige Manipulation, ein Roboterarm mit sechs Freiheitsgraden und eine mobile Basis beschrieben. Runway erklärt, Wirksamkeit und Sicherheit zunächst über verschiedene Robotertypen und Umgebungen hinweg zu prüfen, bevor das System allgemein verfügbar wird, und lädt weitere ausgewählte Partner ein, das Robotikteam zu kontaktieren.

Forschenden außerhalb dieses Programms stehen die Ankündigung, das Diagramm und die Clips zur Verfügung. Auf der Seite ist weder ein öffentlicher Download der Praxis-1-Gewichte noch ein veröffentlichtes Integrationsverfahren oder ein reproduzierbares Evaluierungspaket verlinkt. Runway nennt keine Gebühren für den Zugang, keine spätere Lizenz der Gewichte, keinen Rechenbedarf und keinen allgemeinen Veröffentlichungstermin. Ein Team, das einen frühen Zugang erwägt, kann anhand der öffentlichen Informationen ein Gespräch über die eigene Hardware und den Evaluierungsbedarf vorbereiten; allein auf Grundlage der Ankündigung lässt sich der veröffentlichte Vergleich jedoch nicht reproduzieren. BIG CHANGE hat keinen Zugang angefragt und keinen Roboter getestet.

Unsere früheren Berichte über GPT-Policy und HomeBody behandeln andere Forschungsfragen. GPT-Policy versieht ein unverändertes Vision-Language-Modell mit Demonstrationen und Rückmeldungen vom Roboter als Kontext; HomeBody verbindet das räumliche Gedächtnis eines Humanoiden mit wiederverwendbaren Fähigkeiten. Bei Praxis-1 geht es darum, ob ein breites Video-Vortraining das Robotersteuerungsmodell selbst verbessern kann. Runway hat weder die Implementierung noch genügend Evaluierungsdetails veröffentlicht, um die Leistung über den gezeigten Vergleich hinaus zu prüfen.

Quellen und weiterführende Informationen

• Runway Research, „Introducing Praxis-1“: Primärankündigung, datiert auf September 2026. Sie enthält die Aussagen zum Vortraining, den Vergleich der Platzierungsfehler von 16,1 und 16,0 cm, den Unsicherheitshinweis zu 93 Paaren, ausgewählte Clips und Partner sowie die geplante Veröffentlichung der Gewichte. Runway ist der Entwickler; Ergebnisse und Beschreibungen stammen vom Unternehmen selbst.
• Runway Research, „Accelerating Robot Policy Evaluation with General World Models“: Frühere, separate Arbeit, auf der die in der Praxis-1-Ankündigung erwähnte Korrelation von 0,95 zwischen Simulation und realer Welt beruht. Sie misst nicht die Leistung von Praxis-1 im Einsatz.
• Runway Robotics, Produktseite zum Policy-Modell: Beschreibt ein separates Angebot mit individueller Anpassung von GWM-1-Steuerungsmodellen und einem SDK. Der Eintrag soll verhindern, dass dessen Schnittstelle mit einer öffentlichen Integrationsanleitung für Praxis-1 verwechselt wird.
• BIG CHANGE, „GPT-Policy tests context in robot-arm and mobile-exploration tasks“ und „HomeBody connects a humanoid’s spatial memory to reusable robot skills“: Frühere Berichte zu anderen Ansätzen für die Robotersteuerung. Keiner der beiden belegt die Leistung von Praxis-1.