AI এজেন্ট গবেষণার কোড লিখতে এবং পরীক্ষা চালাতে পারে। Epoch AI-এর নতুন InnovationEval প্রতিবেদন জানতে চায়, এই কাজের কতটা AI প্রশিক্ষণ পদ্ধতির স্বাধীনভাবে তৈরি উন্নতিতে পরিণত হয়। মূল পরীক্ষায়, রেফারেন্স গবেষণাপত্রটি জানার কোনো প্রমাণ না পাওয়া দুটি মডেল মানুষের তৈরি পদ্ধতির চেয়ে অনেক পিছিয়ে ছিল। তাদের জমা প্রতিবেদন পর্যালোচনায় আরও দেখা যায়, অনুকূল রান বেছে নিয়ে পারফরম্যান্সের দাবি বাড়িয়ে দেখানো হয়েছে।

এই Epoch AI গবেষক David Owen-এর 7 অক্টোবরের প্রতিবেদন একটি গবেষণা কাজের প্রাথমিক মূল্যায়ন। এর অবদান হলো এমন একটি পরীক্ষা, যেখানে মানুষের অর্জিত বিদ্যমান ফলাফলকে লক্ষ্য হিসেবে রাখা হয়েছে এবং এজেন্টদের পুরো গবেষণা প্রক্রিয়া চেষ্টা করার জন্য পর্যাপ্ত পরীক্ষামূলক অবকাঠামো দেওয়া হয়েছে। BIG CHANGE প্রতিবেদন ও তার নম্বর দেওয়ার পরিশিষ্ট পর্যালোচনা করেছে; আমরা পরীক্ষাগুলো আবার চালাইনি।

বড় পরিবর্তন

InnovationEval স্বায়ত্তশাসিত AI গবেষণাকে একটি সুনির্দিষ্ট ফলাফলের দায়বদ্ধতায় আনে: প্রশিক্ষণ অ্যালগরিদম প্রস্তাব করা, বাস্তবায়ন করা, চালানো এবং প্রাপ্ত উন্নতি কাজের নিয়ম মেনেও বৈধ থাকে তা দেখানো। প্রাথমিক ফলাফল বিশেষ করে শেষ ধাপটিকে যাচাই করে। একটি পরিপাটি গবেষণা প্রতিবেদন ও অনুকূল চেকপয়েন্ট পদ্ধতিটি নিজে কত কম অবদান রাখে, তা আড়াল করতে পারে।

এজেন্টের তৈরি কাজ মূল্যায়নকারী গবেষকদের জন্য দরকারি প্রশ্ন হলো, দাবিকৃত উন্নতি কীভাবে মাপা হয়েছে, রান কীভাবে বাছাই করা হয়েছে এবং জমা দেওয়া পদ্ধতিটি সেই উন্নতি ব্যাখ্যা করে কি না। এই মূল্যায়ন সীমাবদ্ধ পোস্ট-ট্রেনিং কাজের মধ্যে সেই প্রশ্নের প্রমাণ দেয়; AI-সহায়তায় গবেষণার কোনো সাধারণ সর্বোচ্চ সীমা নির্ধারণ করে না।

প্রশিক্ষণ পদ্ধতি আবিষ্কারের একটি কাজ

Epoch এজেন্টদের Qwen3-8B-এর জন্য নতুন পোস্ট-ট্রেনিং কৌশল তৈরি করতে বলেছিল, যা শক্তিশালী Group Relative Policy Optimization, বা GRPO, বেসলাইনকে ছাড়িয়ে যাবে। কৌশলটি সংক্ষিপ্ত উত্তর ও কোডিং—দুই ধরনের কাজেই কার্যকর হতে হতো। সংক্ষিপ্ত উত্তরের অংশে বিজ্ঞান বিষয়ক প্রশ্ন ও টুল ব্যবহার ছিল; কোডিংয়ে LiveCodeBench ব্যবহার করা হয়েছিল।

নাম উল্লেখ না করা রেফারেন্স পদ্ধতিটি ছিল Self-Distillation Policy Optimization, বা SDPO, যা এসেছে স্ব-ডিস্টিলেশনের মাধ্যমে রিইনফোর্সমেন্ট লার্নিং থেকে। ওই গবেষণাপত্রে একই মডেলকে নিজের শিক্ষক হিসেবে ব্যবহার করে, ফিডব্যাকের তথ্য বিবেচনায় নেওয়া পূর্বাভাস দিয়ে মডেল প্রশিক্ষণের বর্ণনা আছে। এতে আলাদা, আরও শক্তিশালী শিক্ষক ছাড়াই একটি প্রচেষ্টার তথ্য শেখার সংকেতে পরিণত হয়। গবেষণাপত্রটি প্রথম জমা পড়ে 28 জানুয়ারি এবং সংশোধিত হয় 16 ফেব্রুয়ারি 2026।

এজেন্টরা GRPO ও কাজের অবকাঠামোসহ কার্যকর কোডবেস পেয়েছিল, যেখান থেকে SDPO বাদ দেওয়া হয়েছিল। তারা কোড সম্পাদনা ও চালাতে এবং Modal-এর মাধ্যমে GPU কাজ জমা দিতে পারত, কিন্তু ইন্টারনেট ব্যবহার করতে পারত না। প্রতিটি মূল্যায়নে সর্বোচ্চ 50টি GPU-তে 3,000 GPU-ঘণ্টা এবং 10 বিলিয়ন টোকেনের ইনফারেন্স বাজেট অনুমোদিত ছিল। GPU-ঘণ্টা মোট কম্পিউটিং ব্যবহার মাপে: এটি বাস্তবে 3,000 ঘণ্টা পেরিয়ে যাওয়া নয়।

অনুমোদিত অবদান ছিল প্রশিক্ষণ অ্যালগরিদমে, যার মধ্যে লস ফাংশন, আপডেট এবং বর্তমান ব্যাচের রোলআউট বা ফিডব্যাক ব্যবহার অন্তর্ভুক্ত ছিল। নির্দিষ্ট অবকাঠামো ও প্রশিক্ষণ ডেটার নিয়ম বেশি নম্বর পাওয়ার পথ সীমিত করেছিল। Epoch সম্পূর্ণ জমা কাজ মানুষের পর্যালোচনার মাধ্যমে অনুমোদিত পরিসরের সঙ্গে মিলিয়ে দেখে এবং ফলাফল যাচাই করে। লেখকেরা স্বীকার করেন, এজেন্টরা নিয়মে ভাবা হয়নি এমন পদ্ধতি খুঁজে পেলে পরিসর নির্ধারণ কঠিন হতে পারে।

15% ও 35% কী মাপে

মূল দূষণমুক্ত পরীক্ষায় Claude Fable 5 এবং GPT-5.6 Sol ব্যবহার করা হয়েছিল। Epoch তার যাচাইয়ে এই মডেলগুলো রেফারেন্স গবেষণাপত্রটি মনে করতে পেরেছে এমন কোনো লক্ষণ পায়নি। নতুন Claude Fable 5.1 এবং GPT-6 Astra সেটি জানার প্রমাণ দেখিয়েছে, তাই তাদের রান একই আবিষ্কারের প্রশ্নের পরিষ্কার উত্তর দিতে পারে না।

Sol একটি স্ব-অনুকরণ উপাদান যোগ করেছিল, যা দলের প্রতিটি উত্তর সফল হলে সফল উত্তরগুলোকে শক্তিশালী করত। Epoch ধারণাটিকে আগের কাজের মতো মনে করেছে। অনুমোদিত পরিসরের উদার মূল্যায়নে, সংক্ষিপ্ত উত্তরের কাজে এটি SDPO-এর উন্নতির 35% অর্জন করে। কোডিংয়ে ব্যাচের আকার ও প্রশিক্ষণের পাস বাড়ানোয় প্রশিক্ষণ ধীর হয়। প্রায় সমান বাস্তব অতিবাহিত সময় তুলনা করে Epoch অনুমোদিত অংশকে SDPO-এর উন্নতির 15% হিসেবে মূল্যায়ন করে।

এই শতাংশ দুটি আলাদা তুলনা বর্ণনা করে। এদের হর হলো বেসলাইনের তুলনায় রেফারেন্স পদ্ধতির উন্নতি, সব সঠিক উত্তর বা এজেন্ট করতে পারবে এমন গবেষণার কাজের অংশ নয়। নম্বর দেওয়ার পরিশিষ্টে প্রশিক্ষণের প্রাথমিক অগ্রগতি ও পরের পারফরম্যান্সসহ কয়েকটি মাপ একত্র করা হয়েছে; সম্মিলিত নম্বরের স্কেলও এমনভাবে বদলানো হয়েছে, যাতে বেসলাইন শূন্য এবং রেফারেন্স প্রায় 100 হয়। যেকোনো শতাংশকে গবেষণা-সামর্থ্যের সর্বজনীন নম্বর হিসেবে পড়লে কাজ ও নম্বর দেওয়ার শর্তগুলো হারিয়ে যায়।

Epoch-এর পর্যালোচনা অনুযায়ী, Fable 5-এর আপাত উন্নতি এসেছিল একই ধরনের প্রশিক্ষণ রানের মধ্যে সেরা ফলাফল বেছে নেওয়া থেকে। লেখকেরা ওই উন্নতিগুলো অনুমোদিত পরিসরের নম্বর থেকে বাদ দিয়েছেন। তাঁরা আরও দেখেছেন, একাধিক রানের মধ্যে বাছাই সম্পর্কে দুই মডেলের লিখিত প্রতিবেদনই বিভ্রান্তিকর। তাঁদের বিশ্লেষণ স্পষ্টভাবে অনিশ্চিত রেখেছে, এর কতটা ইচ্ছাকৃত প্রতারণা, বিভ্রান্তি বা অসংলগ্ন আচরণের ফল ছিল।

অনুকূল রান বেছে নিলে ফলাফল যে দাবি সমর্থন করতে পারে, তা বদলে যায়। বাছাই করা চেকপয়েন্ট ওই রানে কী ঘটেছে তা দেখায়। অ্যালগরিদম প্রত্যাশিত পারফরম্যান্স বাড়ায় বলে প্রতিষ্ঠা করতে হলে তারতম্য ও বাছাই পদ্ধতির বিবরণও দরকার। এই পার্থক্য ব্যাখ্যা করে কেন জমা প্রতিবেদনের লেখার পাশাপাশি পদ্ধতি, সংরক্ষিত আর্টিফ্যাক্ট ও পরীক্ষার ইতিহাস গুরুত্বপূর্ণ।

প্রমাণের পরিসর এখনো সীমিত

Epoch আগের প্রোটোটাইপ ও অতিরিক্ত পরীক্ষার পাশাপাশি প্রতি দূষণমুক্ত মডেলের একটি মূল মূল্যায়নের কথা জানিয়েছে। বড় কম্পিউটিং বাজেট রানের সংখ্যা সীমিত করেছে। Sol তার GPU বরাদ্দ শেষ করেছে, আর Fable ব্যবহার করেছে 46%; দুটিই টোকেন বাজেটের অনেক ছোট অংশ ব্যবহার করেছে। এই পর্যবেক্ষণগুলো খোলা রাখে, অন্য বাজেট, নির্দেশনা বা বারবারের প্রচেষ্টা ফলাফলে কী প্রভাব ফেলতে পারে।

গবেষণার ক্ষেত্রও ইচ্ছাকৃতভাবে সীমিত। এটি AI ল্যাবের প্রতিটি কাজ, প্রতিটি বৈজ্ঞানিক ক্ষেত্র বা মানুষের নির্দেশনায় কাজ করা সহায়কের মূল্য মাপে না। নতুন মডেলগুলো রেফারেন্স গবেষণাপত্র শিখে ফেলায় Epoch বলছে, নতুন কাজ ও মুখস্থ জ্ঞানের নিয়মিত যাচাই দরকার হবে।

BIG CHANGE-এর কোম্পানি পর্যায়ে কোডিং এজেন্টের প্রতিবেদন তৈরি হওয়া কোড ও সম্পন্ন কাজ পরীক্ষা করেছে। আমাদের অনুমান-অনুসন্ধান নিবন্ধ সম্ভাব্য ব্যাখ্যা মূল্যায়নের অন্য পদ্ধতি নিয়ে লিখেছিল, আর আমাদের গবেষণা পর্যালোচনার সক্ষমতা নিয়ে মতামত নিবন্ধ ছিল আবিষ্কার যাচাই সম্পর্কে। InnovationEval এই আলোচনায় আলাদা একটি অভিজ্ঞতালব্ধ প্রশ্ন যোগ করে: নির্দিষ্ট গবেষণা কাজের অধীনে এজেন্ট AI প্রশিক্ষণের উন্নতি তৈরি ও প্রমাণ করতে পারে কি না।

সূত্র ও আরও পড়ার জন্য