Runway Praxis-1ను ప్రకటించింది, తన world model‌ల వెనుక ఉన్న పెద్ద స్థాయి వీడియో ముందస్తు శిక్షణపై ఆధారపడిన రోబోట్ విధాన నమూనా ఇది అని కంపెనీ చెబుతోంది. ఎంపిక చేసిన robotics భాగస్వాములతో, వారి స్వంత యంత్రాలపై దీనిని పరీక్షించినట్లు తెలిపింది. రాబోయే నెలల్లో మోడల్ వెయిట్‌లను ప్రజలకు విడుదల చేయాలని యోచిస్తోంది; అక్టోబర్ 3న BIG CHANGE ప్రకటన పేజీని చూసినప్పుడు అవి అక్కడ లేవు. Runway ఆ పేజీకి సెప్టెంబర్ 2026 తేదీని ఇచ్చింది కానీ నిర్దిష్ట రోజును పేర్కొనలేదు.

దీని వెనుక ఉన్న ప్రశ్న ఏమిటంటే, రోబోట్ ప్రదర్శనల నుంచి నేర్చుకునే ముందే సాధారణ వీడియో రోబోట్ విధాన నమూనాకు ఉపయోగకరమైన జ్ఞానాన్ని అందించగలదా అన్నది. Runway వస్తువును ఉంచడంలో వచ్చే లోపంపై పోలికను, ఎంపిక చేసిన పనుల వీడియో క్లిప్‌లను చూపుతోంది. ఫలితాన్ని పునరావృతం చేసి పరీక్షించడానికి అవసరమైన వివరాలు ఇంకా ప్రచురించలేదు.

పెద్ద మార్పు

  • ఏమి మారింది:రోబోట్ చర్యను అంచనా వేయడంలో వీడియో ముందస్తు శిక్షణను ఉపయోగిస్తూ, భాగస్వాముల వివిధ రకాల హార్డ్‌వేర్‌పై పరీక్షలు చేస్తున్నట్లు Runway చెబుతోంది. రోబోట్ ప్రదర్శన డేటా సేకరణ ఖరీదైన రంగంలో, మూడో వ్యక్తి దృష్టికోణం నుంచి తీసిన సమృద్ధిగా ఉన్న వీడియోను ఉపయోగించే అవకాశాన్ని ఇది ఇస్తుంది. Praxis-1కు ఇంకా ఎంపిక చేసినవారికే ప్రాప్యత ఉంది.
  • ఇది ఎందుకు ముఖ్యం:వెబ్ వీడియోపై ముందస్తు శిక్షణకు fine-tuning తర్వాత తుది స్థాన-లోపం 16.1 cm; రిమోట్‌గా నడిపిన రోబోట్ వీడియోపై ముందస్తు శిక్షణకు 16.0 cm అని Runway చార్ట్ చూపుతోంది. కనిపించే point estimate‌లు దగ్గరగా ఉన్నాయి. 93 మూల్యాంకన జతలపై ±1 SEM బార్‌లు గణాంకపరంగా ముఖ్యమైన తేడాన్నీ సమానత్వాన్నీ నిరూపించవు; ప్రచురించిన protocol మరొక రోబోట్‌పై పనితీరును అంచనా వేయడానికి సరిపడా వివరంగా లేదు.
  • ఏమి గమనించాలి:బహిరంగంగా వెయిట్‌ల విడుదల, పనులవారీ మూల్యాంకన వివరాలు, భాగస్వాముల ఫలితాలు వస్తే వీడియో ముందస్తు శిక్షణ ఎంత దోహదపడిందో, ఒక్కో రోబోట్‌కు ఎలాంటి అనుసరణ అవసరమో పరిశోధకులు అంచనా వేయగలరు. వెయిట్‌లను విడుదల చేస్తామని Runway హామీ ఇచ్చింది, కానీ ఖచ్చితమైన తేదీ ఇవ్వలేదు.

వీడియో విధాన నమూనాలోకి ఎలా వస్తుంది

Runway యొక్క Praxis-1 పరిశోధన పేజీ ప్రకారం, దాని పెద్ద వీడియో మోడల్‌లు వస్తువుల ప్రవర్తన, చేతి కదలిక, భౌతిక పనుల నమూనాలను నేర్చుకుంటాయి. Praxis-1 ఆ ముందస్తు శిక్షణను సాధారణ ప్రయోజనాల రోబోట్ విధాన నమూనాలోకి తీసుకొస్తుందని కంపెనీ చెబుతోంది. పనికి ప్రత్యేకమైన రోబోట్ శిక్షణకు ముందు మూడో వ్యక్తి దృష్టికోణం నుంచి తీసిన దృశ్యాలు ఉపయోగకరమైన ప్రారంభాన్ని ఇవ్వగలవన్నది దాని వాదన. మూడో వ్యక్తి వీడియోను పెంచేకొద్దీ విధాన నమూనా పనితీరు మెరుగవుతుందని పేజీ చెబుతోంది.

Praxis-1లో పరిశీలనల రూపం, చర్యల output, fine-tuning విధానం, inference interface లేదా నియంత్రణ frequency ఎలా ఉంటాయో పేజీ వివరించదు. వెయిట్ ఫైళ్లు లేదా హార్డ్‌వేర్ అవసరాలనూ ఇవ్వదు. నిర్దిష్ట కెమెరా, gripper లేదా mobile base‌కు ఎంత అనుసరణ అవసరమో అంచనా వేయాలనుకునే ఇంజినీర్‌కు ఈ లోటులు ముఖ్యం. Runwayకు GWM-1 విధాన నమూనా ఉత్పత్తికి వేరే పేజీ ఉంది; అది ప్రత్యేక fine-tuning, cloud SDK ఏర్పాటును వివరిస్తుంది. దాని interface, వాణిజ్య నిబంధనలు Praxis-1కూ వర్తిస్తాయని భావించకూడదు.

టెన్నిస్ బంతిని ఉంచమనే సూచన, షెల్ఫ్‌ దగ్గరకు వెళ్లి పుస్తకాన్ని తీసుకునే mobile base, పునరావృత వస్తువులు, చిందరవందర, పారదర్శక పదార్థాలు, వస్త్రంతో కూడిన ఉదాహరణలను Runway క్లిప్‌లు చూపిస్తాయి. మరో క్లిప్ శీర్షిక ప్రకారం, అదే విధాన నమూనా మళ్లీ శిక్షణ ఇవ్వకుండానే స్టూడియో నుంచి వంటగదికి మారుతుంది. ఇవి developer ఎంచుకున్న ఉదాహరణలు; వీటికి ఎన్ని పరీక్షలు చేశారో, విజయ శాతాలేమిటో పేజీ చెప్పదు.

స్థాన లోపపు చార్ట్ ఏమి చెబుతోంది

Runway పేజీలోని ఏకైక సంఖ్యాత్మక పోలిక fine-tuning తర్వాత తుది స్థాన-లోపం, ఇది సెంటీమీటర్లలో కొలుస్తారు; తక్కువ విలువ మెరుగైనది. మొదటి నుంచి వెబ్ వీడియోపై ముందస్తు శిక్షణకు 16.1 cm; మొదటి నుంచి రిమోట్‌గా నడిపిన రోబోట్ వీడియోపై ముందస్తు శిక్షణకు 16.0 cm అని చార్ట్ చూపిస్తుంది. ముందస్తు శిక్షణకు ఉపయోగించిన వీడియో గంటలను Runway చూపిస్తూ, error barలు, band అనేవి 93 మూల్యాంకన జతలపై సగటు యొక్క ±1 ప్రామాణిక దోషం అని చెబుతోంది. ఒక bar కంటే చిన్న తేడాలు గణాంకపరంగా ముఖ్యమైనవి కావని దాని గమనిక చెబుతోంది.

చూపించిన point estimate‌ల మధ్య తేడా 0.1 cm. పనుల రకాలు, రోబోట్‌లు లేదా పరిసరాల సంఖ్య, 93 జతలను ఎలా రూపొందించారు, fine-tuning‌కు ఎంత రోబోట్ డేటా వాడారు, పూర్తి గణాంక పరీక్ష—వీటిని Runway ఈ పేజీలో ప్రచురించలేదు. చూపించాలని Runway ఎంచుకున్న పోలికలో, fine-tuning తర్వాత తుది స్థాన-లోప point estimate‌లు దగ్గరగా ఉన్నాయి. ఆ కొలతకు గణాంకపరంగా ముఖ్యమైన తేడా లేదా సమానత్వాన్ని చార్ట్ నిరూపించదు. క్లిప్‌లలోని దీర్ఘ పనులను విశ్వసనీయంగా పూర్తి చేయగలదని లేదా నిజమైన deployment‌కు కావాల్సిన డేటా తగ్గిందని కూడా ఇది చూపదు.

Simulation, నిజ ప్రపంచంలోని రోబోట్ విధాన నమూనా ఫలితాల మధ్య 0.95 correlation ఉందని Runway చెబుతోంది. ఆ సంఖ్య దాని మునుపటి విధాన-మూల్యాంకన పరిశోధన నుంచి వచ్చింది; అందులో ఒక Franka Panda arm‌తో tabletop పనులపై ఎనిమిది విధాన నమూనాలను ర్యాంక్ చేశారు. అది విధాన నమూనా మూల్యాంకనంపై వేరే అధ్యయనం; Praxis-1 యొక్క field పనితీరు కొలత కాదు.

ప్రాప్యత పరిస్థితి

Praxis-1ను తమ సొంత హార్డ్‌వేర్‌పై ఉపయోగిస్తున్న తొలి భాగస్వాములుగా Runway Noble Machines, Standard Bots, Ultra పేర్లను పేర్కొంది. ఆ విభాగంలో రెండు చేతులతో చేసే manipulation, ఆరు డిగ్రీల స్వేచ్ఛ కలిగిన arm, mobile base‌ను ప్రకటన వివరిస్తుంది. సాధారణ ప్రాప్యతకు ముందు వేర్వేరు robot embodiment‌లు, పరిసరాల్లో ప్రభావాన్ని, భద్రతను అంచనా వేస్తున్నామని Runway చెబుతోంది; మరింతమంది ఎంపిక చేసిన భాగస్వాములు తమ robotics బృందాన్ని సంప్రదించాలని ఆహ్వానిస్తోంది.

ఆ కార్యక్రమంలో లేని పరిశోధకులకు ప్రకటన, చార్ట్, క్లిప్‌లే అందుబాటులో ఉన్నాయి. పేజీలో Praxis-1 వెయిట్‌ల బహిరంగ download, ప్రచురించిన integration విధానం లేదా పునరుత్పాదించగల మూల్యాంకన package‌కు లింక్ లేదు. ముందస్తు ప్రాప్యత రుసుములు, భవిష్యత్ వెయిట్ లైసెన్స్, compute అవసరాలు, సాధారణ విడుదల తేదీని Runway పేర్కొనలేదు. ముందస్తు access‌ను పరిశీలించే బృందం తన హార్డ్‌వేర్, మూల్యాంకన అవసరాలపై చర్చకు బహిరంగ సమాచారాన్ని ఉపయోగించవచ్చు; కానీ ప్రకటన ఒక్కటితో నివేదించిన పోలికను పునరుత్పత్తి చేయలేదు. BIG CHANGE access అడగలేదు, రోబోట్‌ను పరీక్షించలేదు.

మా మునుపటి GPT-Policy మరియు HomeBody నివేదికలు వేర్వేరు పరిశోధనా ప్రశ్నలను పరిశీలిస్తాయి. GPT-Policy స్థిరమైన vision-language model‌కు ప్రదర్శనలు, రోబోట్ feedback ఇచ్చి prompt చేస్తుంది; HomeBody humanoid‌కు గదులపై ఉన్న జ్ఞాపకాన్ని మళ్లీ ఉపయోగించగల నైపుణ్యాలతో కలుపుతుంది. విస్తృత వీడియో ముందస్తు శిక్షణ విధాన నమూనానే మెరుగుపరచగలదా అని Praxis-1 ప్రశ్నిస్తోంది. నివేదించిన పోలికకు మించి దాని పనితీరును తనిఖీ చేయడానికి కావాల్సిన implementేషన్ లేదా తగిన మూల్యాంకన వివరాలను Runway ఇంకా విడుదల చేయలేదు.

మూలాలు, మరింత చదవడానికి