جیف کا نیا مطالعہ اس سوال کو آگے بڑھاتا ہے جو BIG CHANGE کی ستمبر کے اجرا کی کوریج نے کھلا چھوڑا تھا: کیا تیز اور کم خرچ کارروائی کے انتخاب سے پورا کام بہتر ہوتا ہے؟ 4,500 اجرا میں محققین نے ہر آزمودہ ایجنٹ میں کارروائی کا سستا انتخاب پایا۔ دو موبائل ایجنٹ انضماموں میں کام کی تکمیل اتنی گری کہ فراہم کردہ نتیجے کی لاگت کا حساب بدل گیا۔

یہ 9 اکتوبر کا پری پرنٹ مصنفین کا بیان کردہ تجربہ ہے، آزادانہ تکرار یا BIG CHANGE کا ٹیسٹ نہیں۔ پانچ ایجنٹ خاندانوں نے متن سے مشاہدہ ہونے والے دو ماحول میں کام کیا: ALFWorld کے گھریلو کام اور AndroidWorld کے موبائل ایپ کام۔ محققین نے ہر ترتیب کو مقررہ کاموں پر تین بار چلایا۔ انہوں نے ایجنٹ کے باقی طریقۂ کار، دوسری ماڈل کالز اور ماحول سے تعامل سمیت، کارروائی کے انتخاب کا مرحلہ جیف سے بدل دیا۔

تکمیل کہاں بدلی

ALFWorld میں ReAct کی شرح 96.02% سے 97.51% اور Reflexion کی 98.01% سے 99.75% ہوئی۔ کنٹرول میں جیف جیسے امیدوار اقدامات تھے مگر ان میں سے انتخاب عام بڑے لسانی ماڈل نے کیا؛ امیدواروں کی فہرست اور ماڈل، دونوں، انٹرفیس بدلتے ہیں۔

موبائل نتائج میں T3A 57.47% سے 44.25% (13.22 فی صد پوائنٹس) اور FastAgent 50.00% سے 31.90% (18.10 پوائنٹس) پر آیا۔ کام کے گروہوں پر بوٹسٹریپ وقفے صفر سے نیچے تھے۔ AutoDroid 18.68% سے 16.38% ہوا، مگر اس کا وقفہ صفر کو شامل کرتا ہے۔ دونوں موبائل نظاموں نے پانچ میں سے ایک سے کم کام مکمل کیا؛ یہ آزمودہ انضمام ہیں، تمام ایجنٹ نہیں۔

سستی کوشش فی کامیابی مہنگی ہو سکتی ہے

پانچوں خاندانوں میں جیف نے کارروائی کے انتخاب کی اوسط لاگت 66.1–78.4% اور فیصلہ وقت 73.9–81.5% کم کیا۔ پورے کام کی اوسط بھی گری مگر کم؛ اضافی استدلال، کارروائیوں اور ماحول سے تعامل نے بچت کا حصہ جذب کیا۔

T3A میں فی کوشش اوسط inference لاگت 17.1% گری؛ متن آگے ‘لاگتِ ’ تمام کوششوں، ناکامیوں سمیت، کو مکمل کاموں کی تعداد پر تقسیم کرنے سے فی کامیابی اوسط ڈالر کے ہزارویں حصے میں 68.70 سے 73.97 ہوئی۔ 7.7% اضافے کا غیر یقینی وقفہ صفر کو شامل کرتا ہے، اس لیے مطالعہ حقیقی بنیادی اضافے کو درست طور پر ثابت نہیں کرتا۔ یہ دکھاتا ہے کہ اس ترتیب میں فی کوشش کم خرچ ہونے سے مشاہدہ شدہ فی ترسیل لاگت کم ہونا یقینی نہیں تھا۔

فیصلے تیز ہونے کے باوجود FastAgent کا اوسط وقت تقریباً وہی رہا؛ کم تکمیل کے باعث فی کامیابی سیکنڈ 239.4 سے 377.8 ہوئے۔ جیف والے ورژن نے 44.1% زیادہ فیصلے کیے اور، بنیادی ورژن کے برعکس، ہر مرحلے پر ایک ٹول چلاتا ہے؛ اس سے سبب متعین کرنے کی حد سامنے آتی ہے۔

ٹریس کے معائنے میں موبائل ایجنٹ کی Wi-Fi تبدیلی مبہم اور مقصد سے پہلے تکمیل دیکھی گئی۔ ALFWorld میں Reflexion کی پہلی کوشش کی کامیابیاں بہتر تھیں مگر بحالی کم: 11/19 بمقابلہ 25/26۔ ناکامیاں مختلف تھیں؛ غلطی پکڑنا اور درست کرنا اہم ہے۔

بڑی تبدیلی

رپورٹ شدہ بچت کام کی سطح پر وہاں قائم رہی جہاں انتخاب غالب تھا اور تکمیل زیادہ تھی؛ ReAct فی کامیابی سستا اور تیز رہا۔ دیگر موبائل ایجنٹوں میں دوسری کالز، ماحول کا وقت اور کم تکمیل نے فائدہ گھٹایا یا الٹ دیا؛ پیمائش میں مکمل کاموں اور وسائل کو تمام کوششوں میں دیکھنا، پھر بحالی اور رکنے کے فیصلے جانچنا ضروری ہے۔ فی کال قیمت یا تاخیر یہ نہیں بتاتی کہ طریقۂ کار نے زیادہ مفید کام دیا یا نہیں۔

مطالعہ اپنا طریقۂ کار اور حدود بیان کرتا ہے؛ یہ SubQ Snap کی توثیق نہیں کرتا۔

لنگ اور ساتھیوں کا 9 اکتوبر کا پری پرنٹ، ‘When Faster Decisions Do Not Make Better Agents’