Caltech, Stanford పరిశోధకుల బృందం హోమ్‌బాడీని ప్రదర్శించింది, ఇందులో GPT Astra నావిగేషన్, వస్తువుల నిర్వహణ నైపుణ్యాలను పిలుస్తూ, వంటగది పనుల్లో Unitree G1 రోబోట్‌కు దిశానిర్దేశం చేస్తుంది. రోబోట్ ముందుగా గదిని పరిశీలించి, వస్తువులు ఎక్కడ కనిపించాయో నమోదు చేస్తుంది. బృందం చూపిన ప్రదర్శనల్లో, అది కాఫీ సంచులను ఒకచోట చేర్చుతుంది, సూచించిన ప్యాకెట్లను పారేస్తుంది, కెమెరా చూపు నుంచి వస్తువు కనుమరుగైన తర్వాత డ్రాయర్‌లోని మందు సీసాను తీసుకొస్తుంది.

ముఖ్యమైన మార్పు

  • ఏం మారింది: హోమ్‌బాడీ పరిశీలించిన గది యొక్క ప్రాదేశిక రికార్డును, రోబోట్ నైపుణ్యాల కోసం ఒక ఉమ్మడి ఇంటర్‌ఫేస్‌ను దృష్టి-భాషా మోడల్‌కు అందిస్తుంది. మోడల్ నైపుణ్యాన్ని, లక్ష్యాన్ని ఎంచుకుంటుంది; స్థానిక సాఫ్ట్‌వేర్ కదలికను ప్రణాళిక చేసి అమలు చేస్తుంది, ఆపై ఫలితాన్ని తెలియజేస్తుంది.
  • ఇది ఎందుకు ముఖ్యం: ఈ వంటగది కోసం కొత్తగా శిక్షణ ఇచ్చిన చర్య విధానం లేకుండానే మోడల్ వివిధ ప్రదేశాల మధ్య ప్రణాళిక చేయగలదు, ఫీడ్‌బ్యాక్‌ను ఉపయోగించగలదు. స్మృతి, ముందే ఉన్న కదలిక నైపుణ్యాలను కలిపి, సుదీర్ఘ పనులను ఎలా చేయవచ్చో బృందం ప్రదర్శనలు చూపిస్తున్నాయి.
  • ఇంకా తెలియనివి: బహిరంగంగా విడుదల చేసినవి కొన్ని ఎంపిక చేసిన ప్రదర్శనలు మాత్రమే; నియంత్రిత విజయ-శాతం అధ్యయనం కాదు. సెప్టెంబర్ 27 నాటికి పరిశోధనా పత్రం, రోబోట్ కోడ్ ప్రజలకు అందుబాటులో లేవు. అందువల్ల ఈ విడుదల ఆధారంగా నివేదించిన పనితీరును స్వతంత్రంగా మళ్లీ పరీక్షించడం సాధ్యం కాదు.

రోబోట్ గదిని ఎలా గుర్తుంచుకుంటుంది

హోమ్‌బాడీ మొదట గదిని పరిశీలిస్తుంది. బృందం ప్రాజెక్ట్ అమలు వివరణ ప్రకారం, G1 విస్తృత కోణపు iPhone వీడియో, D435i కెమెరా పరిశీలనలు, LiDAR స్కాన్‌లు, జాయింట్ భంగిమలు, మోడల్ ఎంచుకున్న మార్గ బిందువులను సేకరిస్తుంది. LiDAR ఆధారిత SLAM మ్యాప్ గది కొలతలను అందిస్తుంది. Astra ఆ సమాచారంతో Nvidia Isaac Simలో డిజిటల్ ప్రతిరూపాన్ని నిర్మిస్తుంది. నమోదైన కెమెరా దృశ్యాలు, రోబోట్ ప్రస్తుత స్థానానికి ఒకే కోఆర్డినేట్ వ్యవస్థ వర్తించేలా బృందం మ్యాప్‌ను, పునర్నిర్మాణాన్ని సరిపోలుస్తుంది.

రోబోట్ ప్రస్తుతం చూడలేని వస్తువును సూచించే ఆదేశం వచ్చినప్పుడు ఈ సిద్ధత ఉపయోగపడుతుంది. మందు సీసా కోసం వచ్చిన అభ్యర్థనలో, హోమ్‌బాడీ నిల్వ చేసిన కెమెరా కీలక దృశ్యాలను గుర్తుచేసుకుని డ్రాయర్‌ను కనుగొని, అక్కడికి వెళ్లి, దాన్ని తెరిచి సీసాను తీసుకుంటుందని బృందం చెబుతోంది. గది నమూనా నావిగేషన్‌కు, స్థలాన్ని గుర్తుచేసుకోవడానికి తోడ్పడుతుంది; చివరి భౌతిక చర్యకు ప్రత్యక్ష కెమెరా మార్గనిర్దేశం చేస్తుంది.

ఆ వంటగదిలో ఇంటరాక్టివ్ పనుల ప్రదర్శన ప్రాజెక్ట్ పేజీలో స్పష్టంగా ఉదాహరణాత్మకంగా గుర్తించబడింది; అది పునర్నిర్మించిన గదిలో జరుగుతుంది. అదే పేజీ G1 వంటగది పనులు చేస్తున్న వీడియోలను విడిగా చూపి, నావిగేషన్, ఎత్తడం, ఉంచడం, డ్రాయర్ నైపుణ్యాల క్లిప్‌లను నిజమైన రోబోట్ దృశ్యాలుగా పేర్కొంటుంది. ఆ వీడియోలు బృందం ఎంపిక చేసిన ప్రయత్నాలను నమోదు చేస్తాయి; అనుకరణ పునఃప్రదర్శన ప్రణాళిక క్రమాన్ని వివరిస్తుంది.

మోడల్ నిర్ణయం నుంచి కదలిక వరకు

మోడల్‌కు పని, ప్రస్తుత కెమెరా దృశ్యం, మ్యాప్ సందర్భం, గ్రిప్పర్ స్థితి, గుర్తుచేసుకున్న పరిశీలనలు, ముందు నైపుణ్యం ఫలితం అందుతాయి. అది నైపుణ్యం, లక్ష్యాన్ని పేర్కొంటూ క్రమబద్ధమైన ఆదేశాన్ని పంపుతుంది. వస్తువును ఎత్తేటప్పుడు లక్ష్యం 0–1000 స్కేల్‌లోని చిత్ర బిందువు, ఏ చేతిని వాడాలనే ఎంపిక. స్థానిక దృశ్య-గ్రహణ వ్యవస్థ వస్తువును వేరు చేస్తుంది, స్టీరియో చిత్రాల నుంచి దాని లోతును అంచనా వేస్తుంది, ఎంపికను 3D పట్టుగా మారుస్తుంది. ఆపై చేయి కదలికను ప్రణాళిక చేసే వ్యవస్థ మార్గాన్ని లెక్కించి తనిఖీ చేస్తుంది. నావిగేషన్‌కు మ్యాప్ కోఆర్డినేట్లలో 2D గమ్యస్థానం, ఎదురుచూపు బిందువు అవసరం; వస్తువును ఉంచడానికి 3D విడుదల బిందువు అవసరం. డ్రాయర్ తెరవడంలో హ్యాండిల్‌కు సరిపోల్చడం, పట్టుకోవడం, వెనక్కి నడవడం ఒకే చర్యగా అమర్చబడ్డాయి.

నైపుణ్యాలు స్థానికంగా చిన్న దిద్దుబాట్లు చేస్తాయి. వస్తువు దగ్గరకు వెళ్తున్నప్పుడు దృశ్య ట్రాకింగ్, పట్టుకోవడంలో విఫలమైతే పరిమిత సంఖ్యలో మళ్లీ ప్రయత్నించడాన్ని బృందం వివరిస్తుంది. కోలుకునే ప్రయత్నం విఫలమైతే, ఆ నైపుణ్యం కారణాన్ని Astraకు పంపి మరో నిర్ణయం తీసుకునేలా చేస్తుంది. నడవడం, చేరుకోవడం ముందే శిక్షణ పొందిన AMO అనే పూర్తి-శరీర కంట్రోలర్‌పై ఆధారపడతాయి. చేయి, అరచేతి ఆదేశాలు 250 Hz వద్ద నడుస్తాయని, AMO విధానం 50 Hz వద్ద నవీకరించబడుతుందని పేజీ చెబుతోంది. Astra దూర సర్వర్‌పై నడుస్తుంది; దృశ్య-గ్రహణం, కదలిక ప్రణాళిక, నైపుణ్యాలు RTX 4090 GPU ఉన్న ల్యాప్‌టాప్‌పై నడుస్తాయి.

Astra ప్రయత్నించాల్సిన ఏ చర్యను, ఎక్కడ ప్రయత్నించాలో ఎంచుకుంటుంది; నైపుణ్యాల సమాహారం, కంట్రోలర్లు ఎలా G1 కదలాలో నిర్ణయిస్తాయి. వంటగది ప్రదర్శనలకు నిర్దిష్ట వాతావరణానికి ప్రత్యేకంగా శిక్షణ ఇచ్చిన డేటాను గానీ, అదనపు విధాన శిక్షణను గానీ ఉపయోగించలేదని బృందం చెబుతోంది. అయినప్పటికీ, ముందే శిక్షణ పొందిన నియంత్రణ వ్యవస్థ, గది యొక్క విస్తృత పునర్నిర్మాణం ఈ అమరికలో భాగమే.

ప్రదర్శనలు ఏమి నిరూపిస్తున్నాయి

గతంలో చూడని వంటగదిలో జరిగిన రెండు భౌతిక పనుల క్రమాలను ప్రాజెక్ట్ పేజీ వివరిస్తుంది. ఒకదానిలో కాఫీ సంచులను సర్ది, నిర్దేశించిన పాలు, నారింజ రసం ప్యాకెట్లను పారేస్తుంది. మరొకదానిలో స్పష్టంగా వివరించని అభ్యర్థన ఆధారంగా G1 మందు సీసాను గుర్తించి, డ్రాయర్ నుంచి తీసి, అందించి, ఒక ప్యాకెట్‌ను పారేస్తుంది. విడివిడిగా చేసిన చర్యలు, నమోదైన మళ్లీ ప్రయత్నాలను దాని నైపుణ్య వీడియోలు చూపిస్తాయి; చాలా ప్రివ్యూల వేగం పెంచామని, డ్రాయర్ నుంచి వస్తువు తీసే ఒక క్రమంలో నిరంతర పునఃప్రయత్నాలు ఉన్నాయని పేజీ పేర్కొంటుంది.

విడుదలలో పరీక్షల సంఖ్య, పనుల విజయ శాతం, నేర్చుకున్న దృష్టి-భాష-చర్య విధానంతో పోలిక, వంటగది పనుల ఒక్కో పూర్తి ప్రయత్నానికి పట్టిన సమయం, ఖర్చు ఇవ్వలేదు. కాబట్టి ఇది నిర్మాణ విధానానికి ఒక ప్రదర్శన మాత్రమే; ఈ రూపకల్పన ఇతర వంటగదుల్లో నమ్మకంగా పనిచేస్తుందనే కొలిచిన వాదనకు ఆధారం కాదు. బహిరంగంగా లింక్ చేసిన రిపాజిటరీ ప్రస్తుతం “కోడ్ త్వరలో వస్తుంది” అని చెబుతోంది; ప్రాజెక్ట్ పేజీలోని పరిశోధనా పత్రం లేబుల్‌కు అనుసంధానమైన మాన్యుస్క్రిప్ట్ లేదు. రిపాజిటరీలో వెబ్‌సైట్, చిత్రాలు, వీడియోలు ఉన్నాయి; రోబోట్ అమలు కోడ్ లేదా మూల్యాంకన ఫైళ్లు లేవు. BIG CHANGE హోమ్‌బాడీని అమలు చేయలేదు, రోబోట్‌ను పరీక్షించలేదు.

BIG CHANGE ఇంతకుముందు ప్రచురించిన GPT-Policy కథనం రోబోట్ చర్యలకు సంబంధించిన సందర్భంపై వేరే బృందం పరిశోధనా పత్రాన్ని పరిశీలించింది. ఆ పత్రం ఈ వ్యవస్థలో భాగమని హోమ్‌బాడీ సమాచారం పేర్కొనదు.

బృందం ఆచరణలో ఎదురయ్యే పరిమితులను కూడా పేర్కొంటుంది: డిజిటల్ ప్రతిరూపం నిర్మించడానికి సిద్ధత సమయం, API ఖర్చు అవసరం; Astra దూరంగా ఆలోచించడం వల్ల నైపుణ్యాల మధ్య విరామాలు వస్తాయి; G1 చేయగల పనులకు దాని చేరువ, వస్తువుల నిర్వహణ పరిమితులు విధిస్తాయి; ఎక్కువసేపు పనిచేస్తే వేళ్ల సర్వోలు వేడెక్కవచ్చు. స్థానిక వ్యవస్థకు RTX 4090 ల్యాప్‌టాప్ అవసరం; ఎక్కువ వనరులు వాడే నైపుణ్యాలకు మరింత కంప్యూటింగ్ శక్తి కావచ్చు.

మూలాలు, మరింత చదవడానికి

  • Caltech, Stanford పరిశోధకుల హోమ్‌బాడీ ప్రాజెక్ట్ పేజీ — వ్యవస్థ నిర్మాణం, వంటగది ప్రదర్శనలు, అనుకరణ పునఃప్రదర్శన, నైపుణ్య ఇంటర్‌ఫేస్‌లు, నియంత్రణ వ్యవస్థ, పేర్కొన్న పరిమితులపై ప్రాథమిక వివరణ. పేజీ తేదీ సెప్టెంబర్ 2026; ఎంపిక చేసిన వీడియోలు, వివరణలు బృందం అందించిన ఆధారాలు మాత్రమే, స్వతంత్ర మూల్యాంకనం కాదు.
  • Stanford TML బహిరంగ హోమ్‌బాడీ రిపాజిటరీ — ప్రాజెక్ట్ పేజీ దీనికి లింక్ చేస్తుంది. 2026 సెప్టెంబర్ 27న పరిశీలించినప్పుడు, రీడ్‌మీలో కోడ్ త్వరలో వస్తుందని ఉంది; బహిరంగ ఫైళ్లలో రోబోట్ అమలు లేదా పూర్తి పరిశోధనా పత్రం కాకుండా వెబ్‌సైట్ సామగ్రి మాత్రమే కనిపించింది.