Jev పై కొత్త అధ్యయనం, సెప్టెంబర్ ప్రారంభంపై BIG CHANGE కథనం వదిలిన ప్రశ్నను కొనసాగిస్తుంది: వేగమైన, చౌకైన చర్య ఎంపిక మొత్తం పనిని మెరుగుపరుస్తుందా? 4,500 అమలుల్లో పరిశోధకులు పరీక్షించిన ప్రతి ఏజెంట్‌లో చర్య ఎంపిక చౌకగా ఉన్నట్లు కనుగొన్నారు. రెండు మొబైల్-ఏజెంట్ అనుసంధానాల్లో పని పూర్తి గణనీయంగా తగ్గి, అందించిన ఫలితపు ఆర్థిక లెక్క మారింది.

ఈ అక్టోబర్ 9 ప్రీప్రింట్ రచయితలు నివేదించిన ప్రయోగం; స్వతంత్ర పునరావృతం లేదా BIG CHANGE పరీక్ష కాదు. ఐదు ఏజెంట్ కుటుంబాలు పాఠ్యంతో గమనించిన రెండు వాతావరణాల్లో పనిచేశాయి: ALFWorld గృహ పనులు, AndroidWorld మొబైల్ యాప్ పనులు. పరిశోధకులు ప్రతి అమరికను స్థిరమైన పని ఉదాహరణలపై మూడుసార్లు నడిపారు. ఇతర మోడల్ కాల్స్, వాతావరణ పరస్పర చర్య సహా ఏజెంట్ మిగతా పనివిధానాన్ని అలాగే ఉంచి, చర్య ఎంపిక దశను Jevతో మార్చారు.

పూర్తి ఎక్కడ మారింది

ALFWorldలో ReAct 96.02% నుంచి 97.51%కి, Reflexion 98.01% నుంచి 99.75%కి పెరిగాయి. నియంత్రణలో Jevలాగే అభ్యర్థి చర్యలు ఉన్నా, వాటిలో సాధారణ పెద్ద భాషా మోడల్ ఎంపిక చేసింది; అభ్యర్థుల జాబితా, మోడల్ రెండూ ఇంటర్‌ఫేస్‌ను మార్చుతాయి.

మొబైల్ ఫలితాల్లో T3A 57.47% నుంచి 44.25%కి (13.22 శాతం పాయింట్లు), FastAgent 50.00% నుంచి 31.90%కి (18.10 పాయింట్లు) పడిపోయాయి. పని సమూహాలపై బూట్‌స్ట్రాప్ విరామాలు సున్నా కంటే దిగువన ఉన్నాయి. AutoDroid 18.68% నుంచి 16.38%కి పడినా, దాని విరామంలో సున్నా ఉంది. రెండు మొబైల్ వ్యవస్థలూ ఐదింటిలో ఒకటి కంటే తక్కువ పనులను పూర్తి చేశాయి; ఇవి పరీక్షించిన అనుసంధానాలు, అన్ని ఏజెంట్లు కాదు.

చౌకైన ప్రయత్నం ప్రతి విజయానికి ఖరీదవచ్చు

ఐదు కుటుంబాల్లో Jev సగటు చర్య-ఎంపిక ఖర్చును 66.1–78.4%, నిర్ణయ సమయాన్ని 73.9–81.5% తగ్గించింది. మొత్తం పని సగటు కూడా తగ్గింది, కానీ తక్కువగా; అదనపు తర్కం, చర్యలు, వాతావరణ పరస్పర చర్య పొదుపులో కొంత భాగాన్ని మింగాయి.

T3Aలో ప్రతి ప్రయత్నానికి సగటు inference ఖర్చు 17.1% తగ్గింది; పాఠ్యం ‘ఖర్చు ’ అన్ని ప్రయత్నాలకు—విఫలమైనవాటితో సహా—ఖర్చును పూర్తైన పనుల సంఖ్యతో భాగించగా, ప్రతి విజయానికి సగటు డాలర్‌లో వెయ్యో వంతులు 68.70 నుంచి 73.97కి పెరిగాయి. ఆ 7.7% పెరుగుదల అనిశ్చితి విరామంలో సున్నా ఉంది; కాబట్టి ఖచ్చితమైన అంతర్లీన పెరుగుదలను అధ్యయనం నిరూపించదు. ఈ అమరికలో ప్రతి ప్రయత్నానికి తక్కువ ఖర్చు, గమనించిన ప్రతి ఫలితపు ఖర్చును తప్పనిసరిగా తగ్గించలేదని మాత్రం చూపుతుంది.

నిర్ణయాలు వేగమైనా FastAgent సగటు సమయం దాదాపు మారలేదు; తక్కువ పూర్తి కారణంగా ప్రతి విజయానికి సెకన్లు 239.4 నుంచి 377.8కి పెరిగాయి. Jev రూపం 44.1% ఎక్కువ నిర్ణయాలు తీసుకుంది; మూల రూపానికి భిన్నంగా ప్రతి దశలో ఒక టూల్‌ను నడుపుతుంది. దీనివల్ల కారణాన్ని నిర్ధారించే పరిమితి ఏర్పడుతుంది.

ట్రేస్ పరిశీలనలో మొబైల్ ఏజెంట్‌లో Wi-Fi మార్పు అస్పష్టంగా ఉండటం, లక్ష్యానికి ముందే పూర్తయినట్లు ప్రకటించడం కనిపించాయి. ALFWorldలో Reflexionకు మొదటి ప్రయత్న విజయాలు ఎక్కువైనా, పునరుద్ధరణలు తక్కువ: 11/19 వర్సెస్ 25/26. విఫలమైన పనుల సమూహాలు వేర్వేరు; లోపాన్ని గుర్తించి సరిచేయడం ముఖ్యం.

పెద్ద మార్పు

ఎంపిక ఆధిపత్యం చేసి పూర్తి రేటు ఎక్కువగా ఉన్న చోట నివేదించిన పొదుపు పని స్థాయిలో నిలిచింది; ReAct ప్రతి విజయానికి చౌకగా, వేగంగా ఉంది. ఇతర మొబైల్ ఏజెంట్లలో అదనపు కాల్స్, వాతావరణ సమయం, తగ్గిన పూర్తి రేటు ప్రయోజనాన్ని తగ్గించాయి లేదా తిప్పేశాయి; అన్ని ప్రయత్నాల్లో పూర్తైన పనులు, వనరులను పోల్చి, ఆపై పునరుద్ధరణ, ఆపే నిర్ణయాలను పరిశీలించాలి. ప్రతి కాల్ ధర లేదా జాప్యం మాత్రమే పనివిధానం మరింత ఉపయోగకరమైన పని ఇచ్చిందో చెప్పదు. మూలాలు మరియు మరింత చదవండి

అధ్యయనం తన పద్ధతి, పరిమితులను వివరిస్తుంది; ఇది SubQ Snapను ధృవీకరించదు.

Ling మరియు సహచరుల అక్టోబర్ 9 ప్రీప్రింట్, ‘When Faster Decisions Do Not Make Better Agents’