Sakana AI গবেষকেরা এমন একটি ব্যবস্থা পরীক্ষা করেছেন, যা পর্যালোচনা লেখার আগে বৈজ্ঞানিক গবেষণাপত্র পড়ে। ৮ অক্টোবরের প্রিপ্রিন্টে, চারটি তৈরি করা পর্যালোচনা একত্রে ধরলে Multi-Layered Review ব্যবস্থা প্রধান দাবিতে ইচ্ছাকৃতভাবে বসানো বিরোধের ৭৩.৪৩% শনাক্ত করেছে। এটি একটি কৃত্রিম বেঞ্চমার্কের সবচেয়ে কেন্দ্রীয় বিভাগের ফল। বাস্তব সমস্যা নথিভুক্ত থাকা আলাদা প্রত্যাহৃত গবেষণাপত্রের দলে, কঠোর মানদণ্ডে পর্যালোচনা ও প্রত্যাহার-কারণের নির্ভুল মিল ছিল ১৬.১১%; শিথিল মানদণ্ডে একই ধরনের উদ্বেগ তোলার হার ২৬.০৭%।

বড় পরিবর্তন

  • কী বদলেছে: Sakana দল শুধু তৈরি করা পর্যালোচনা মানুষের পর্যালোচনার মতো কি না তা নয়, বরং শনাক্তযোগ্যভাবে বসানো ভুল ধরতে পারে কি না পরীক্ষা করেছে। আলোচিত ৭৩.৪৩% সবচেয়ে কেন্দ্রীয় বসানো বিরোধ এবং প্রতি গবেষণাপত্রে চারটি প্রচেষ্টার জন্য।
  • কেন গুরুত্বপূর্ণ: পর্যালোচক ও সম্পাদকের এমন সরঞ্জাম দরকার যা গুরুত্বপূর্ণ ভুল দেখায়, শুধু বিশ্বাসযোগ্য গদ্য নয়। প্রত্যাহৃত গবেষণাপত্রে কম মিল দেখায় ফল ভুলের ধরন ও শনাক্তকরণ মাপার পদ্ধতির ওপর নির্ভরশীল।
  • কী দেখবেন: পরের কার্যকর পরীক্ষা দেখবে, ব্যবস্থা বিভিন্ন বিষয় ও দীর্ঘ গবেষণাপত্রে স্বাভাবিকভাবে তৈরি সমস্যা খুঁজে যাচাইযোগ্য প্রমাণ দিতে পারে কি না। প্রিপ্রিন্টে আরও দেখা গেছে, জমা দেওয়া লেখার গোপন নির্দেশ পর্যালোচনার নম্বর প্রভাবিত করতে পারে।

বিরোধ পরীক্ষাটি যেভাবে হয়েছে

গবেষকেরা ACL, AISTATS, CVPR ও ICML ২০২৫ এবং NeurIPS ২০২৪-এর ২৫৭টি AI সম্মেলন-গবেষণাপত্র নেন। Gemini 2.5 Pro দিয়ে দাবি ও সমর্থনকারী বিবরণ মেলানো হয়। এরপর GPT-4.1 মূল দাবির বিভিন্ন দূরত্বে বিরোধী অনুচ্ছেদ তৈরি করে। মূল অনুচ্ছেদ বদলে পুনরায় সংকলন করে ১,১৬৪টি পরিবর্তিত সংস্করণ বানানো হয়, প্রতিটিতে একটি করে বসানো বিরোধ। গবেষণার নকশায় শূন্য দূরত্ব মানে মূল দাবিতে বিরোধ; বেশি দূরত্বের মানে প্রান্তিকতর বিবরণ।

Claude Sonnet 4-ভিত্তিক Sakana পর্যালোচক প্রথমে গবেষণাপত্রের রূপরেখা দেয়, পরে প্রমাণ, অনুমান ও দুর্বলতা খুঁটিয়ে পড়ে, শেষে পর্যালোচনা লেখে। পূর্ণ কাঠামোতে পরিশিষ্টের সারাংশ ও সাহিত্য অনুসন্ধানও যোগ হতে পারে। এই পরীক্ষায় গবেষকেরা শুধু Review Agentব্যবহার করেন, ঐচ্ছিক দুটি উপাদান নয়। o3 মডেল প্রতিটি পর্যালোচনার সঙ্গে মূল ও পরিবর্তিত অনুচ্ছেদ মিলিয়ে দেখে লক্ষ্যবিরোধ ধরা পড়েছে কি না। বিচারধাপটি দশবার চালিয়ে গড় জানানো হয়।

৭৩.৪৩% এসেছে প্রিপ্রিন্টের সারণি ১৪থেকে: শূন্য দূরত্বের বিরোধ ধরা হয়েছে যদি চারটি তৈরি করা পর্যালোচনার যেকোনো একটি তা শনাক্ত করে। ২৫৭টি মূল গবেষণাপত্রের প্রতিটির জন্য একটি শূন্য-দূরত্ব পরিবর্তিত সংস্করণ ছিল। ওই বিভাগে একটি MLR পর্যালোচনার ফল ৬০.৭৯%। সব ১,১৬৪টি বসানো বিরোধে চারটি পর্যালোচনার ফল ৪০.৯৫%, একটির ২৮.৩২%। মূল দাবি থেকে ভুল দূরে গেলে হার কমেছে, যদিও সবচেয়ে দূরের দলে উদাহরণ কম ছিল।

তুলনাটি সেটিংসহ পড়তে হবে। শূন্য-দূরত্ব ভুলে GPT-4.1-চালিত LLM-Review-এর ফল ১৪.৫৬%; Claude Sonnet 4 ব্যবহার ও পাঠ ছাঁটাই বন্ধ করলে তা ৩৫.৪০% হয়। একক MLR পর্যালোচনার ফল ৬০.৭৯%। এতে মডেল ও পদ্ধতি দুটির গুরুত্ব বোঝা যায়; চারটি পর্যালোচনার ৭৩.৪৩% ভুল ধরার একাধিক সুযোগ থেকেও সুবিধা পায়। ভিত্তি ব্যবস্থাগুলো ভিন্ন মডেল ও ফরম্যাট ব্যবহার করেছে, তাই শিরোনামের সংখ্যা তিন-ধাপ পদ্ধতির একক পরিমাপ নয়।

বাস্তব গবেষণাপত্রের পরীক্ষা কঠিন ছিল

লেখকেরা WithdrarXiv-Check-ও মূল্যায়ন করেন, যেখানে প্রত্যাহৃত arXiv গবেষণাপত্রের সঙ্গে প্রত্যাহার মন্তব্য জোড়া। মূল ২৪৫-পত্র পরীক্ষাগুচ্ছ থেকে ৩০ পৃষ্ঠার বেশি নয় এমন ২১১টি নেওয়া হয়। o3 বিচারক তৈরি পর্যালোচনায় প্রত্যাহার কারণের সঙ্গে মেলে এমন উদ্বেগ খোঁজে। “নির্ভুল” মিলের মানদণ্ডে MLR ১৬.১১%; একই ধরনের উদ্বেগ গ্রহণ করলে ২৬.০৭%। ওই শিথিল সেটিংয়ে পরের সেরা ভিত্তি AgentReview পায় ১৮.৪৮%। এগুলো নথিভুক্ত প্রত্যাহার কারণের সঙ্গে মিল, প্রতিটি গবেষণাপত্রের সব সম্ভাব্য ত্রুটির পরিমাপ নয়।

দুই গুচ্ছের তুলনার সীমা আছে। লেখকেরা বলেন, অনেক প্রত্যাহৃত গবেষণাপত্র গণিত ও পদার্থবিদ্যার, আর ব্যবস্থাগুলো মূলত AI সম্মেলনে জমা পড়া কাজের জন্য তৈরি। পরিশিষ্টে পৃষ্ঠা বাড়ার সঙ্গে শনাক্তকরণ কমার কথা আছে। কৃত্রিম বেঞ্চমার্কেরও সুবিধা আছে: ৫০টি বসানো বিরোধের হাতে করা নিরীক্ষায় মানব মূল্যায়কেরা ৩৪% ক্ষেত্রে আশপাশের লেখার স্বাভাবিক প্রবাহ ভেঙেছে বলে মনে করেন। ফলে কিছু কৃত্রিম সম্পাদনা গবেষণা বা লেখার সময় স্বাভাবিকভাবে সৃষ্ট ভুলের চেয়ে সহজে ধরা পড়তে পারে।

প্রিপ্রিন্টে ইচ্ছাকৃত প্রভাব বিস্তারও পরীক্ষা করা হয়েছে। গবেষকেরা প্রত্যাখ্যাত ৫০টি গবেষণাপত্রে উপসংহারের পর অতি ছোট সাদা অক্ষরে নির্দেশ লুকিয়েছিলেন। গবেষণায় বলা হয়েছে, পরীক্ষিত সব পর্যালোচনা ব্যবস্থা প্রভাবিত হয়; MLR আট ক্ষেত্রে স্পষ্টভাবে সেগুলো টের পায়। নিজের পর্যালোচনা নম্বরের গড় পরিবর্তন ছোট হলেও ব্যক্তিগত পরিবর্তনে বড় ফারাক ছিল। জমা দেওয়া পাণ্ডুলিপির লেখাকে নির্ভরযোগ্য নির্দেশ না ভাবার এটি আলাদা সতর্কতা।

এই কাজটি AI পর্যালোচক পরিচিত ভুল ধরতে পারে কি না—সে প্রশ্ন করার আরও নির্দিষ্ট উপায় দেয়। এটি নির্ভরযোগ্য স্বয়ংক্রিয় পিয়ার রিভিউ প্রতিষ্ঠা করে না। ফল ব্যবস্থা-নির্মাতারা প্রিপ্রিন্টে জানিয়েছেন; BIG CHANGE কোড চালায়নি বা স্বাধীনভাবে মূল্যায়ন পুনরুৎপাদন করেনি।

সূত্র ও আরও পড়ুন