OmicsBench একটি AI এজেন্টকে ধারাবাহিক ও পরস্পরনির্ভর অনুরোধের মধ্য দিয়ে বায়োইনফরমেটিক্স বিশ্লেষণ এগিয়ে নিতে বলে। 15 অক্টোবরের একটি প্রিপ্রিন্টে, Gideon Shaked ও Siddharth Nagisetty জানান, তাঁদের মূল্যায়িত এজেন্টগুলোর নির্ভুলতা সেশন এগোনোর সঙ্গে সঙ্গে এবং কোনো ধাপ আগের উত্তরের ওপর নির্ভর করলে কমেছে। এতে কম্পিউটেশনাল জীববিজ্ঞানীদের সামনে একটি বিচ্ছিন্ন কাজ সমাধানের ক্ষমতার চেয়েও সুনির্দিষ্ট প্রশ্ন আসে: একটি গবেষণা চলাকালে এজেন্ট কি বিশ্লেষণকে তথ্য ও নির্দেশনার প্রতি বিশ্বস্ত রাখতে পারে?
বড় পরিবর্তন
- কী বদলেছে: OmicsBench একই চলমান এজেন্ট সেশনে পরস্পরনির্ভর বিশ্লেষণের ধারাবাহিক ধাপ মূল্যায়ন করে। এটি এমন ভুল সামনে আনে, যা শুধু একটি চূড়ান্ত উত্তরে আড়াল হতে পারে; তবে এখানে প্রমাণ এসেছে বেঞ্চমার্কটির লেখকদের নিজস্ব প্রিপ্রিন্ট থেকে।
- কেন গুরুত্বপূর্ণ: বহু ধাপের বিশ্লেষণের জন্য কোনো এজেন্টকে যাচাই করা গবেষক দল তার ফল কোথায় বিচ্যুত হয় তা পরীক্ষা করতে পারে; নির্দিষ্ট নির্বাচন-শর্ত মানা হচ্ছে কি না, সেটিও এর অন্তর্ভুক্ত। গবেষণাপত্রে নির্ভরশীল ধাপে কম স্কোর পাওয়ার কথা বলা হয়েছে; তাই একটি প্রম্পটে ভালো উত্তর পুরো কর্মপ্রবাহের পক্ষে দুর্বল প্রমাণ।
- কী দেখতে হবে: উন্মুক্ত রানার ও প্রকাশিত তিনটি কাজ গবেষকদের পদ্ধতিটি যাচাই করতে দেয়। বাকি 94টি কাজ ব্যক্তিগতভাবে সংরক্ষিত; আলাদা রাখা কাজের ওপর স্বাধীন মূল্যায়ন এবং শুধু উত্তরের মিলের বাইরেও বিশ্লেষণের মান যাচাই বাস্তব ব্যবহারের বিষয়ে আরও জোরালো প্রমাণ দেবে।
বেঞ্চমার্ক কীভাবে একটি গবেষণা অনুসরণ করে
OmicsBench-এ প্রকাশিত জীববিজ্ঞানের গবেষণা ও সেগুলোর ডেটাসেট থেকে তৈরি 97টি কাজ রয়েছে, যা 662টি উপকাজে বিভক্ত। প্রতিটি কাজ ধাপের একটি গ্রাফ: একটি সংযোগরেখা বোঝায় যে পরের উত্তর আগেরটির ওপর নির্ভর করে। প্রতি কাজের উপকাজসংখ্যার মধ্যক সাত, আর সবচেয়ে দীর্ঘ নির্ভরশীল শৃঙ্খলের মধ্যক তিন ধাপ। একটি উপকাজ চলমান সেশনে ব্যবহারকারীর একটি পালা হয়। এজেন্ট তথ্য ও তার আগের ফাইল ব্যবহার করতে পারে, তবে প্রতি পালায় নির্দিষ্ট উত্তর-ফাইল লিখতে হয়। লেখকদের ভাষ্য অনুযায়ী, মানব বিশেষজ্ঞরা গবেষণাগুলো বেছে নিয়েছেন এবং এজেন্ট কাজগুলোর খসড়া তৈরির পর সেগুলো পর্যালোচনা করেছেন। গবেষণাপত্রের পদ্ধতি অংশে এই নির্মাণ ও মূল্যায়নপ্রক্রিয়ার বিবরণ রয়েছে।
এই নকশা সেই সংক্ষিপ্ত মূল্যায়ন থেকে আলাদা, যেখানে একটি উত্তরের পরই প্রতিটি প্রশ্ন শেষ হয়। এটি এমন গবেষণাব্যাপী প্রম্পট থেকেও আলাদা, যেখানে এজেন্টকে একবারে পুরো লক্ষ্য দিয়ে শুধু চূড়ান্ত ফল মূল্যায়ন করা হয়। এখানে ধারাবাহিকতা দেখে বোঝা যায়, আগের ফল পরের বিশ্লেষণে ঠিকমতো ব্যবহার করা হয়েছে কি না। একটি উন্মুক্ত উদাহরণে এজেন্টকে কিডনির কোষের অবস্থার একটি স্বাক্ষর শনাক্ত করতে এবং পরে নিয়ন্ত্রক ও জৈবিক প্রোগ্রামের বিশ্লেষণে সেই ফল ব্যবহার করতে বলা হয়। এসব যোগসূত্র নির্ভরশীলতাকে স্পষ্ট করে, তবে পুরো কর্মপ্রবাহ থেকে নির্ভরযোগ্য নতুন বৈজ্ঞানিক আবিষ্কার হয়—এমন প্রমাণ দেয় না।
স্কোর একটি গড়। এক বা একাধিক নির্ধারিত নিয়মভিত্তিক মূল্যায়ক প্রতিটি উত্তর-ফাইলের ক্ষেত্রগুলো উত্তরসূচির সঙ্গে মেলায়; তাদের গড় হয় উপকাজের স্কোর, আর কাজের স্কোর হলো তার উপকাজগুলোর গড়। লেখকেরা জিনের সেট, এনরিচমেন্ট ফল ও সংখ্যামানের মতো আউটপুটের জন্য 58 ধরনের মূল্যায়ক তৈরি করেছেন। কিছু মূল্যায়ক রেফারেন্স ডেটাবেস দিয়ে বিকল্প জৈবিক পরিচয়সংকেত মেলায়, ফলে জিনের একটি বৈধ সমার্থক নাম আক্ষরিক স্ট্রিং তুলনায় ভুল বলে গণ্য না-ও হতে পারে। তাই স্কোরটি বেঞ্চমার্কের নির্ধারিত উত্তর ও গ্রহণযোগ্য পার্থক্যের সঙ্গে মিল মাপে; বিশ্লেষণ বা তার বৈজ্ঞানিক ব্যাখ্যার পূর্ণ বিশেষজ্ঞ বিচার নয়।
ফল প্রতিক্রিয়ার ওপর নির্ভর করে
লেখকেরা তিনটি এজেন্ট পরিচালনা-কাঠামোতে 12টি মডেল পরীক্ষা করেছেন। নেটওয়ার্ক থেকে বিচ্ছিন্ন কনটেইনারে প্রতিটি কাজ প্রতি মোডে তিনবার চালানো হয়েছে; প্রকাশিত গড়ে প্রথমে কাজ পর্যায়ে এই রানগুলোর গড় নেওয়া হয়। একবারের প্রচেষ্টা মোডে পরের উপকাজে যাওয়ার আগে এজেন্ট উত্তরের কোনো প্রতিক্রিয়া পায় না। মডেল ও পরিচালনা-কাঠামোর বিভিন্ন সমন্বয়ে কাজের গড় স্কোর শূন্য থেকে একের স্কেলে 0.43 থেকে 0.57 ছিল। সীমামানভিত্তিক মোডে 0.7-এর নিচে স্কোর হলে ব্যর্থতার বিজ্ঞপ্তি আসে এবং সর্বোচ্চ আরও দুবার চেষ্টা করা যায়। গড় স্কোর ছিল 0.54 থেকে 0.67। প্রকাশিত ফলের সেরা সমন্বয় OpenCode-এ Opus 5 প্রতিক্রিয়া ছাড়া 0.57 এবং প্রতিক্রিয়াসহ 0.67 পেয়েছে। এগুলো লেখকদের জানানো বেঞ্চমার্কের ফল, BIG CHANGE-এর নিজস্ব রান বা স্বাধীন পুনরাবৃত্তি নয়।
পুনরায় চেষ্টায় উন্নতিকে সতর্কভাবে ব্যাখ্যা করতে হয়। লেখকেরা দেখেছেন, নির্দিষ্ট বিকল্পসংবলিত কিছু উপকাজে এজেন্ট বিকল্প ঘুরিয়ে অনুমান করছে; তাই পালা ও পুনঃচেষ্টার বিশ্লেষণ থেকে এমন 177টি উপকাজ বাদ দিয়েছেন। তাঁদের মতে, প্রতিক্রিয়ার সুযোগ নেওয়ার অন্য উপায়ও সম্ভব, আর সীমামানভিত্তিক মোডের উন্নতির কতটা এই আচরণ থেকে এসেছে তা পরিমাপ করা হয়নি। ওই স্কোর এই নির্দিষ্ট সংকেত ও চেষ্টা-সীমার অধীনে পারফরম্যান্স বোঝায়। এজেন্ট মূল বিশ্লেষণ সংশোধন করেছে—এর প্রমাণ হিসেবে তা পড়া উচিত নয়।
গবেষণাপত্রের একবারের প্রচেষ্টার বিশ্লেষণে, বিভিন্ন সমন্বয়ে ব্যবহারকারীর দ্বিতীয় পালার উপকাজের স্কোর প্রথম পালার তুলনায় 0.06 থেকে 0.12 কম ছিল। আগের উত্তরের ওপর নির্ভরশীল উপকাজ স্বাধীনগুলোর চেয়ে কম স্কোর পেয়েছে। সীমামানভিত্তিক পুনঃচেষ্টায়, ওই পুনঃচেষ্টা বিশ্লেষণে অন্তর্ভুক্ত উপকাজগুলোর মাত্র 22% থেকে 34% তিন চেষ্টার মধ্যে 0.7 সীমায় পৌঁছেছে; প্রথম চেষ্টায় পৌঁছেছিল 15% থেকে 24%। এই প্রবণতাগুলো মডেলের র্যাঙ্কিংয়ের চেয়ে সরাসরি বেঞ্চমার্কের মূল প্রশ্নের উত্তর দেয়: এসব পরীক্ষায় কাজের শৃঙ্খল অক্ষুণ্ণ রাখা এখনো কঠিন।
ব্যর্থতা বিশ্লেষণে যা দেখা যায়
লেখকেরা 150টি উপকাজের নমুনায় ব্যর্থ প্রথম চেষ্টাগুলো পরীক্ষা করেছেন। স্বয়ংক্রিয় বিশ্লেষণে এমন ঘটনা পাওয়া গেছে, যেখানে এজেন্ট অতিরিক্ত ফল ফিরিয়েছে, চাওয়া নির্বাচনবিধির বদলে নিজেরটি বসিয়েছে, অন্য প্রক্রিয়া ব্যবহার করেছে কিংবা প্রস্তুত করে দেওয়া তথ্যের বদলে পূর্বজ্ঞান থেকে উত্তর দিয়েছে। একজন জীববিজ্ঞানীর কাছে ফেরত আসা তালিকা বিশ্বাসযোগ্য মনে হতে পারে, এমনকি ভুল পরিসংখ্যানগত ফিল্টার দিয়ে সেটি বাছাই করা হলেও। গবেষণাপত্রের উদাহরণগুলো একটি সামগ্রিক স্কোরের চেয়ে এই ব্যর্থতা খতিয়ে দেখতে বেশি সহায়ক।
ব্যর্থতার এসব লেবেল অনুসন্ধানমূলক। একটি ভাষা-মডেল বিচারক বিবরণ ও শ্রেণি তৈরি করেছে; লেখকেরা পুনরায় টীকা দেওয়ার মধ্যে মিল পরীক্ষা করলেও মানব টীকাকারীদের সঙ্গে মিলিয়ে লেবেলগুলো যাচাই করেননি। ভিন্ন পরিচালনা-কাঠামোতে সীমিত রান থেকেও আলাদা করা যায় না, স্কোরের পার্থক্যের কতটা মডেল আর কতটা আশপাশের এজেন্ট সফটওয়্যার থেকে এসেছে। কাজের সংগ্রহ একাধিক জীববৈজ্ঞানিক ক্ষেত্রজুড়ে বিস্তৃত, তবে লেখকদের মতে প্রতিটি ক্ষেত্রে নির্ভরযোগ্য মডেল-তুলনার জন্য কাজের সংখ্যা খুব কম।
গবেষকেরা দেখতে পারেন লেখকদের দেওয়া লিংকের রিপোজিটরি, যেখানে রানার এবং উত্তরসূচিসহ তিনটি উন্মুক্ত কাজের ফাইল রয়েছে। গবেষণাপত্রে বলা হয়েছে, বাকি 94টি কাজ ব্যক্তিগত টেস্ট সেট হিসেবে রাখা হয়েছে। এই উন্মুক্ত অংশ দিয়ে OmicsBench কীভাবে তৈরি তা পরীক্ষা করা যায়; একে একা ব্যবহার করে গবেষণাপত্রের পুরো 97 কাজের র্যাঙ্কিং পুনরুৎপাদন করা যায় না। প্রিপ্রিন্ট নির্দিষ্ট বিশ্লেষণ-উত্তরের বিপরীতে এজেন্টকে মাপে। তারা নির্ভরযোগ্য বৈজ্ঞানিক আবিষ্কার করতে পারে, গবেষণাগারে তত্ত্বাবধান ছাড়া চলতে পারে বা কম্পিউটেশনাল জীববিজ্ঞানীদের স্থান নিতে পারে—এগুলো এতে প্রতিষ্ঠিত হয় না।
উৎস ও আরও পড়ুন
- Shaked ও Nagisetty, “OmicsBench,” arXiv v1, 15 অক্টোবর 2026। এখানে দেওয়া সংখ্যা ও স্কোরিংয়ের বিবরণের ভিত্তি হলো পদ্ধতি, ফল, সীমাবদ্ধতা ও পরিশিষ্ট। এটি লেখকদের ফল প্রকাশ করা একটি প্রিপ্রিন্ট।
- OmicsBench-এর উন্মুক্ত রিপোজিটরি। লেখকদের দেওয়া লিংকের প্রকাশনায় রানার ও তিনটি উন্মুক্ত কাজের ফাইল রয়েছে। গবেষণাপত্রের পরিশিষ্ট E-তে আলাদা রাখা সেট ও লাইসেন্সের ব্যাখ্যা আছে।
