QwenLM-এর BlenderWorld বেঞ্চমার্ক AI এজেন্টদের Blender-এ সম্পাদনাযোগ্য 3D দৃশ্য দিতে বলে। এর 223 কাজ শুরু হয় লিখিত নির্দেশনা, রেফারেন্স ছবি বা রেফারেন্স ভিডিও দিয়ে। জমার কেন্দ্রে থাকে নিজস্ব ফরম্যাটের final.blend প্রজেক্ট, সঙ্গে চাওয়া ছবি, ভিডিও ও টেক্সচার ফাইল। এতে মূল্যায়নকারী দৃশ্য এবং তা থেকে তৈরি ছবি দুটিই পরীক্ষা করতে পারেন।

14 অক্টোবর প্রকাশিত এবং 16 অক্টোবর গবেষণাপত্রের সংশোধনের সঙ্গে হালনাগাদ করা উন্মুক্ত রিপোজিটরি কাজের তথ্য, জমার নিয়ম ও মূল্যায়ন চালানোর টুল দেয়। Blender-এর কাজে এজেন্ট পরীক্ষা করা শিল্পী ও দলের জন্য উপযোগী অগ্রগতি হলো, প্রজেক্ট ফাইলের ভেতরেই আউটপুট নির্দেশনা পূরণ করছে কি না যাচাই করার পদ্ধতি। BIG CHANGE নথি ও প্রজেক্ট পেজ দেখেছে; আমরা বেঞ্চমার্ক চালাইনি বা জমা দৃশ্যগুলো নিজেরা পরীক্ষা করিনি।

বড় পরিবর্তন

  • কী বদলেছে: BlenderWorld, 223 সৃষ্টিমূলক অনুরোধ ও কাজভিত্তিক 2,651 দ্বিমূল্য মানদণ্ডের সঙ্গে Blender-এর নিজস্ব ফরম্যাটের জমার জন্য উন্মুক্ত মূল্যায়ন টুল দেয়।
  • কেন গুরুত্বপূর্ণ: রেন্ডার করা ছবি অনুপস্থিত অবজেক্ট, ভুল মাপ বা অব্যবহারযোগ্য প্রজেক্ট আড়াল করতে পারে। বেঞ্চমার্ক দৃশ্য পরীক্ষা ও দৃশ্যগত প্রমাণ দিয়ে শর্ত যাচাই করে; পাশাপাশি আলাদা দৃশ্যগত মানের স্কোর দেয়।
  • কী লক্ষ করবেন: প্রকাশিত কাজ, কোড ও মডেল সেটিং দিয়ে স্বাধীনভাবে পরীক্ষা করলে লেখকদের স্কোর কতটা পুনরুৎপাদন করা যায় তা বোঝা যাবে। প্রোডাকশনে ব্যবহারের আগে সংরক্ষিত প্রজেক্ট দলকে এখনও নিজে পর্যালোচনা করতে হবে।

নির্দেশনা থেকে সম্পাদনাযোগ্য ফাইল

এই ডেটাসেটের নথি 78 টেক্সট কাজ, 130 ছবি-প্লাস-টেক্সট এবং 15 ভিডিও-প্লাস-টেক্সট কাজ নির্ধারণ করে। ঊনষাটটির সঙ্গে স্পেসিফিকেশন সংযুক্তিও আছে, যাতে মাপ, মেটেরিয়াল বা ক্যামেরার শর্ত দেওয়া থাকতে পারে। প্রতিটি কাজের ID, অনুরোধ ও প্রয়োজনীয় রেফারেন্স থাকে; মূল্যায়ন-ছক আলাদা রাখা হয়। দৃশ্য তৈরি করার সময় জেনারেশন এজেন্টকে মূল্যায়ন-ছক দেখানো হয় না।

এই রিপোজিটরির দ্রুত শুরুর নির্দেশিকা কাজের নির্দেশনা, রেফারেন্স ও সংযুক্তি প্রস্তুত করতে bw prepare ব্যবহারের বর্ণনা দেয়। তারপর এজেন্ট Blender-এ কাজ করে সংরক্ষণ করে final.blend এবং নির্দেশনায় চাওয়া এক্সপোর্ট ও নির্ভরশীল রিসোর্স। bw pack-submission প্রতিটি কাজের জন্য একটি ZIP তৈরি করে। মূল্যায়ন টুল Blender ফাইলকে মূল প্রজেক্ট হিসেবে খোলে; পরিপাটি চূড়ান্ত রেন্ডারকে ওই ফাইলের বিকল্প মনে করে না।

AI 3D সহায়ক মূল্যায়নের সময় এটি গুরুত্বপূর্ণ পার্থক্য। স্থির ছবি কাঙ্ক্ষিত চেহারা বোঝাতে পারে, আর সম্পাদনাযোগ্য দৃশ্যে জ্যামিতি, মেটেরিয়াল, বিন্যাস ও অ্যানিমেশন থাকে, যা অন্য শিল্পীর পরীক্ষা বা পরিবর্তন করার প্রয়োজন হতে পারে। BlenderWorld ফরম্যাট দুই ধরনের প্রমাণই দেয়; তবে শুধু বৈধ ফাইল থাকাই পেশাদার কাজের প্রতিটি অংশ ব্যবহারযোগ্য হয়েছে বলে প্রমাণ করে না।

স্কোর কীভাবে হয়

এই মূল্যায়ন প্রোটোকল অনুযায়ী, রেন্ডারিং এজেন্ট জমা দৃশ্যের আটটি ভিউ বেছে নেয়। যেসব মানদণ্ডে প্রজেক্টে প্রবেশ দরকার, সেগুলো দৃশ্য পরীক্ষায় দেখা হয়; দৃশ্য মূল্যায়নকারী রেন্ডার ও অন্যান্য দৃশ্যগত প্রমাণ দিয়ে দৃশ্যগত মানদণ্ড বিচার করে। প্রতিটি কাজে গুরুত্ব অনুযায়ী ওজন দেওয়া দ্বিমূল্য উত্তীর্ণ শর্ত থাকে। আটটি আলাদা রেটিং দৃশ্যের বিশ্বস্ততা, ভৌত সামঞ্জস্য, ধরন ও রং, বাস্তবতা, স্থানিক বিন্যাস, অনুপাত ও স্কেল, আলো ও মেটেরিয়াল, এবং সম্পূর্ণতা যাচাই করে।

কাজের চূড়ান্ত স্কোরের অর্ধেক ওজন দ্বিমূল্য মূল্যায়ন-ছকে এবং অর্ধেক দৃশ্যগত দিকগুলোর রেটিংয়ের গড়ে দেওয়া হয়। অনুপস্থিত বা ব্যর্থ সাবমিশন সামগ্রিক ফলাফলে শূন্য পায়; সেগুলো হর থেকে বাদ পড়ে না। এই প্রজেক্ট সাইট 13 মডেলের স্কোর জানায়; তবে সেগুলো লেখকদের বেছে নেওয়া কাজ, জেনারেশন সেটআপ ও স্বয়ংক্রিয় মূল্যায়নকারী দিয়ে পাওয়া তাঁদের ফল। সাইটে সাত মডেলের 26 কাজ থেকে 181 দৃশ্যের প্রিভিউও বাছাই করা উদাহরণ হিসেবে দেখানো হয় এবং স্পষ্ট বলা হয়, এগুলো মানের র্যান্ডম নমুনা নয়।

তাই বেঞ্চমার্ক একটি ছবি-পছন্দের স্কোরের চেয়ে সমস্যা চিহ্নিত করার বেশি বিস্তারিত তথ্য দেয়: ফল কাঠামোগত শর্ত, দৃশ্যগত শর্ত বা বিস্তৃত মানের কোনো দিকে ব্যর্থ হতে পারে। কিন্তু এটি একাই প্রমাণ করে না যে মডেলের 3D আউটপুট কোনো স্টুডিওর সম্পাদনাযোগ্যতার মান, এক্সপোর্ট প্রক্রিয়া বা নির্ভরযোগ্যতার শর্ত পূরণ করে। প্রকাশিত মানব-পছন্দের তুলনা বাছাই করা জোড়ায় স্বয়ংক্রিয় মূল্যায়নকারীর সঙ্গে মিল পরীক্ষা করে; পরবর্তী ব্যবহারের উপযোগিতার সনদ নয়।

পুনরুৎপাদনযোগ্য পরীক্ষার জন্য কী লাগে

নতুন জমা প্রস্তুত করতে উন্মুক্ত নির্দেশনায় Linux, Python 3.10 বা নতুন সংস্করণ এবং Blender 4.2.10 বলা আছে। মূল্যায়নে অতিরিক্ত লাগে Node.js 22.17.0, ffmpeg ও ffprobe, রেন্ডারিং ও দৃশ্য পরীক্ষার জন্য Claude Code 2.1.220 এবং কনফিগার করা দৃশ্য-সক্ষম মডেল এন্ডপয়েন্ট। রিপোজিটরি ডেটাসেটের রিসোর্স যাচাই করতে bw verify, পরিকল্পিত পরীক্ষা দেখতে bw evaluate --dry-run এবং থামার পর আবার চালানো যায় এমন মূল্যায়ন টুল দেয়, যা প্রতিটি কাজের প্রমাণ ও সারসংক্ষেপ ফাইল লেখে। এগুলো নথিভুক্ত কমান্ড, BIG CHANGE-এর পরীক্ষা করা ধাপ নয়।

কোড MIT লাইসেন্সের অধীনে। মূল্যায়ন চালাতে নির্দিষ্ট সফটওয়্যার, উপযুক্ত কম্পিউটিং রিসোর্স এবং কনফিগার করা মডেল পরিষেবার প্রবেশতথ্য এখনও লাগে; নথিতে প্রতিবার পরীক্ষার নির্দিষ্ট মূল্য দেওয়া নেই। এজেন্ট তুলনার সময় কাজের সেট, Blender সংস্করণ, মূল্যায়ন টুলের কনফিগারেশন ও মডেলের বিকল্প নাম অপরিবর্তিত রেখে সামগ্রিক ফল ও ব্যর্থ কাজ দুটিই দেখা উচিত। বিশ্বাসযোগ্য দেখতে ছবি ও উঁচু গড় স্কোর যে প্রশ্নের উত্তর দেয়, তা একটি দল আসল দৃশ্য পরিবর্তন করে সরবরাহ করতে পারবে কি না, তার চেয়ে সীমিত।

উৎস ও আরও পড়ুন