Jev নিয়ে নতুন গবেষণাটি সেই প্রশ্নকে এগিয়ে নিয়েছে, যা সেপ্টেম্বরের উদ্বোধন নিয়ে BIG CHANGE-এর প্রতিবেদনেখোলা ছিল: দ্রুত ও সস্তা action নির্বাচন কি পুরো কাজকে উন্নত করে? ৪,৫০০টি execution-এ গবেষকেরা পরীক্ষিত প্রতিটি এজেন্টে action নির্বাচন সস্তা পেয়েছেন। দুটি মোবাইল-এজেন্ট integration-এ কাজ সম্পন্ন হওয়া এতটাই কমেছে যে সরবরাহ করা ফলের অর্থনীতি বদলে গেছে।

এই ৯ অক্টোবরের preprint লেখকদের রিপোর্ট করা পরীক্ষা; এটি স্বাধীন পুনরাবৃত্তি বা BIG CHANGE-এর পরীক্ষা নয়। পাঁচটি এজেন্ট পরিবার দুইটি টেক্সট-পর্যবেক্ষণযোগ্য পরিবেশে কাজ করেছে: ALFWorld-এর ঘরের কাজ এবং AndroidWorld-এর মোবাইল অ্যাপের কাজ। গবেষকেরা নির্দিষ্ট task instance-এ প্রতিটি configuration তিনবার চালিয়েছেন। অন্য model call ও পরিবেশের সঙ্গে মিথস্ক্রিয়াসহ প্রতিটি এজেন্টের চারপাশের workflow বজায় রেখে তাঁরা action-selection ধাপটি Jev দিয়ে বদলেছেন।

যেখানে completion বদলেছে

ALFWorld-এ Jev সংস্করণগুলো তাদের মূল configuration-এর কাছাকাছি ছিল। Jev দিয়ে ReAct কাজের ৯৬.০২% শেষ করেছে, baseline-এ ছিল ৯৭.৫১%; Reflexion শেষ করেছে ৯৮.০১%, baseline-এ ৯৯.৭৫%। গবেষকেরা একটি control-ও পরীক্ষা করেছেন, যা Jev-এর মতো একই candidate action পেয়েছিল, কিন্তু সেগুলোর মধ্যে বেছে নিতে সাধারণ LLM ব্যবহার করেছিল। এটি গুরুত্বপূর্ণ, কারণ এজেন্টকে candidate list দিলে interface এবং decision model—দুটিই বদলে যায়।

মোবাইল ফলগুলো কম সমান ছিল। Jev-সহ T3A-এর completion rate ৫৭.৪৭% থেকে ৪৪.২৫%-এ নেমেছে, ব্যবধান ১৩.২২ percentage point। FastAgent ৫০.০০% থেকে ৩১.৯০%-এ নেমেছে, ব্যবধান ১৮.১০ point। দুই ব্যবধানের জন্য paper-এর task-cluster bootstrap interval পুরোপুরি শূন্যের নিচে ছিল। AutoDroid ১৮.৬৮% থেকে ১৬.৩৮%-এ নেমেছে, কিন্তু তার interval-এ শূন্য ছিল; উভয় সংস্করণই পাঁচটির মধ্যে একটির কম কাজ শেষ করেছে। এগুলো পরীক্ষিত integration-এর ফল, সব মোবাইল এজেন্টের অনুমান নয়।

সস্তা চেষ্টা প্রতি সাফল্যে বেশি খরচ করাতে পারে

পাঁচটি পরিবারে Jev গড় action-selection খরচ ৬৬.১% থেকে ৭৮.৪% এবং সিদ্ধান্তের সময় ৭৩.৯% থেকে ৮১.৫% কমিয়েছে। পর্যবেক্ষিত প্রতিটি পরিবারের গড় মোট task cost-ও কমেছে, তবে কম মাত্রায়। অতিরিক্ত reasoning, আরও action এবং পরিবেশের সঙ্গে মিথস্ক্রিয়ায় সময় স্থানীয় সাশ্রয়ের কিছু অংশ শুষে নিয়েছে।

চেষ্টার জন্য অর্থ দেওয়া আর ফলের জন্য অর্থ দেওয়ার পার্থক্যের সবচেয়ে স্পষ্ট উদাহরণ T3A। প্রতি task attempt-এ তার গড় inference cost ১৭.১% কমেছে। কিন্তু গবেষকেরা যখন সব চেষ্টার খরচ—ব্যর্থতাসহ—সম্পন্ন কাজের সংখ্যা দিয়ে ভাগ করেছেন, তখন প্রতি সাফল্যের গড় এক ডলারের ৬৮.৭০ হাজারাংশ থেকে ৭৩.৯৭ হাজারাংশে উঠেছে। ৭.৭% বৃদ্ধির uncertainty interval শূন্য অতিক্রম করে, তাই গবেষণা নির্ভুল অন্তর্নিহিত বৃদ্ধি প্রতিষ্ঠা করে না। তবে এটি দেখায় যে এই setup-এ প্রতি চেষ্টায় কম খরচ মানেই পর্যবেক্ষিত delivery cost কম হবে, এমন নিশ্চয়তা নেই।

সিদ্ধান্ত অনেক দ্রুত হলেও FastAgent-এর গড় task time প্রায় অপরিবর্তিত ছিল। কম কাজ সম্পন্ন হওয়ায় প্রতি সরবরাহ করা সাফল্যে সময় ২৩৯.৪ থেকে ৩৭৭.৮ সেকেন্ড হয়েছে। Jev সংস্করণ ৪৪.১% বেশি সিদ্ধান্ত নিয়েছে এবং baseline-এর বিপরীতে প্রতি ধাপে একটি tool চালিয়েছে। এই design difference পরীক্ষিত integration-এর অংশ এবং ব্যবধানের কতটা শুধু Jev-এর কারণে তা নির্ধারণে সীমা আনে।

খারাপ পছন্দের পরে কী ঘটেছে তা বুঝতে লেখকেরা নির্বাচিত trace পরীক্ষা করেছেন। একটি মোবাইল কাজে Jev সংস্করণ অস্পষ্ট label-যুক্ত Wi-Fi switch বেছে নিয়ে লক্ষ্য পূরণের আগেই completion ঘোষণা করেছে। Reflexion-এর ALFWorld run-এ প্রথম চেষ্টায় Jev baseline-এর চেয়ে বেশি সফল হয়েছে, কিন্তু শুরুর ব্যর্থতা কম পুনরুদ্ধার করেছে: ১৯টির মধ্যে ১১টি, যেখানে baseline ২৬টির মধ্যে ২৫টি। এই ভগ্নাংশগুলো ব্যর্থ চেষ্টার ভিন্ন সেটকে বোঝায়। এগুলো দেখায়, প্রথম সিদ্ধান্তের খরচের বাইরেও এজেন্টের ত্রুটি শনাক্ত ও মেরামতের ক্ষমতা কেন গুরুত্বপূর্ণ।

বড় পরিবর্তন

Jev-এর রিপোর্ট করা সিদ্ধান্ত-সাশ্রয় task স্তরে সবচেয়ে স্পষ্টভাবে টিকে ছিল যেখানে action নির্বাচন কাজের বড় অংশ ছিল এবং completion উচ্চ ছিল। সরবরাহ করা প্রতি সাফল্যে ReAct সস্তা ও দ্রুত ছিল। মোবাইল integration-এ অন্য call, পরিবেশে সময় এবং কম completion সুবিধার কিছু অংশ কমিয়েছে বা উল্টে দিয়েছে। নির্মাতাদের জন্য paper একটি নির্দিষ্ট মাপের পদ্ধতি দেয়: সব চেষ্টায় সম্পন্ন কাজ ও সম্পদ তুলনা করুন, তারপর recovery ও থামার সিদ্ধান্ত পরীক্ষা করুন। প্রতি-call দাম বা latency দিয়ে workflow বেশি কার্যকর কাজ সরবরাহ করেছে কি না বোঝা যায় না।

গবেষণায় টেক্সট পর্যবেক্ষণ, সীমাবদ্ধ action choice, নির্দিষ্ট task instance এবং একই seed-এ তিনটি পুনরাবৃত্তি ছিল। খরচের অঙ্কে ঘোষিত model price ও লেখকদের নিজস্ব হিসাবের নিয়ম ব্যবহৃত হয়েছে। দৃশ্যভিত্তিক এজেন্ট, দীর্ঘ workflow এবং নতুন task distribution এই প্রমাণের বাইরে। paper এজেন্ট workflow-এ Jev মূল্যায়ন করে; SubQ Snap পরীক্ষা বা যাচাই করে না।

সূত্র ও আরও পড়ুন