QwenLM चा BlenderWorld बेंचमार्क AI एजंटांना Blender मधील संपादनयोग्य 3D दृश्ये द्यायला सांगतो. त्याची 223 कामे मजकूर सूचना, संदर्भ प्रतिमा किंवा संदर्भ व्हिडिओंपासून सुरू होतात. सादरीकरणाचा गाभा मूळ final.blend प्रकल्प असतो; सोबत मागितलेल्या प्रतिमा, व्हिडिओ आणि टेक्स्चर फाइल्स असतात. त्यामुळे परीक्षकाला दृश्य आणि त्यातून तयार केलेली चित्रे दोन्ही तपासता येतात.

14 ऑक्टोबरला प्रसिद्ध झालेली आणि 16 ऑक्टोबरला शोधनिबंधाच्या सुधारित आवृत्तीसह अद्ययावत झालेली सार्वजनिक रेपॉझिटरी कामांचा डेटा, सादरीकरणाचे नियम आणि मूल्यमापन चालवण्याचे साधन देते. Blender कामासाठी एजंट वापरून पाहणाऱ्या कलाकारांना व संघांना यातला उपयुक्त बदल म्हणजे प्रकल्प फाइलमध्येच आउटपुट सूचनांची पूर्तता करते का, हे तपासण्याची पद्धत. BIG CHANGE ने कागदपत्रे आणि प्रकल्पाचे पान पाहिले; आम्ही बेंचमार्क चालवला नाही किंवा सादर केलेली दृश्ये स्वतः तपासली नाहीत.

मोठा बदल

  • काय बदलले: BlenderWorld मूळ Blender सादरीकरणांसाठी सार्वजनिक मूल्यमापन साधनासह 223 निर्मितीविषयक मागण्या आणि कामनिहाय 2,651 द्विमूल्य निकष एकत्र देते.
  • हे महत्त्वाचे का: रेंडर केलेले चित्र हरवलेला ऑब्जेक्ट, चुकीची मापे किंवा वापरता न येणारा प्रकल्प लपवू शकते. बेंचमार्क दृश्य तपासणी आणि दृश्य पुराव्यांद्वारे अटी तपासतो; त्याशिवाय दृश्य गुणवत्तेचे वेगळे गुण देतो.
  • कशाकडे लक्ष द्यावे: प्रसिद्ध केलेली कामे, कोड आणि मॉडेल सेटिंग्ज वापरून केलेल्या स्वतंत्र चाचण्या लेखकांचे गुण किती पुनरुत्पादित करता येतात, हे दाखवतील. निर्मितीत वापरण्यापूर्वी जतन केलेल्या प्रकल्पांचे संघाने स्वतः परीक्षण करणे आवश्यकच आहे.

सूचनांपासून संपादनयोग्य फाइलपर्यंत

हे डेटासेट दस्तऐवज 78 मजकूराधारित, 130 प्रतिमा-आणि-मजकूर आणि 15 व्हिडिओ-आणि-मजकूर कामे परिभाषित करतात. एकोणसाठ कामांना मापे, मटेरियल किंवा कॅमेरा अटी ठरवणारी तपशीलवार जोडपत्रेही आहेत. प्रत्येक कामाला ID, मागणी आणि आवश्यक संदर्भ असतात; त्याची गुणांकन चौकट वेगळी जतन केली जाते. दृश्य तयार करताना निर्मिती करणाऱ्या एजंटला मूल्यमापनाची चौकट दाखवली जात नाही.

हा रेपॉझिटरीतील जलद सुरुवातीचा मार्गदर्शक कामाच्या सूचना, संदर्भ आणि जोडपत्रे तयार ठेवण्यासाठी bw prepare वापरण्याचे वर्णन करतो. मग एजंट Blender मध्ये काम करून final.blend आणि सूचनांनुसार आवश्यक निर्यात फाइल्स व अवलंबित संसाधने जतन करतो. bw pack-submission प्रत्येक कामासाठी एक ZIP तयार करते. परीक्षक Blender फाइल मुख्य प्रकल्प म्हणून उघडतो; आकर्षक अंतिम रेंडरला त्या फाइलचा पर्याय मानत नाही.

AI 3D सहाय्यकाचे मूल्यमापन करताना हा फरक उपयुक्त आहे. स्थिर चित्र अपेक्षित रूप दाखवू शकते, तर संपादनयोग्य दृश्यात दुसऱ्या कलाकाराला तपासावी किंवा बदलावी लागू शकणारी भूमिती, मटेरियल, मांडणी आणि अॅनिमेशन असते. BlenderWorld चे स्वरूप दोन्ही प्रकारचे पुरावे उपलब्ध करते; मात्र केवळ वैध फाइल असल्याने व्यावसायिक कार्यप्रवाहाचा प्रत्येक भाग वापरण्यास तयार आहे, हे सिद्ध होत नाही.

गुणांकन कसे चालते

या मूल्यमापन प्रोटोकॉलनुसार, रेंडरिंग एजंट सादर केलेल्या दृश्यातून आठ दृश्यकोन निवडतो. प्रकल्पात प्रवेश लागणारे निकष दृश्य तपासणी हाताळते; दृश्य परीक्षक रेंडर आणि इतर दृश्य पुराव्यांद्वारे दृश्य निकष तपासतो. प्रत्येक कामासाठी महत्त्वानुसार भार दिलेल्या द्विमूल्य उत्तीर्ण अटी असतात. आठ स्वतंत्र गुण दृश्याची निष्ठा, भौतिक विश्वासार्हता, शैली व रंग, वास्तवदर्शीपणा, अवकाशीय मांडणी, प्रमाण व आकारमान, प्रकाशयोजना व मटेरियल आणि पूर्णता यांना दिले जातात.

कामाच्या अंतिम गुणांत अर्धा भार द्विमूल्य चौकटीला आणि अर्धा दृश्य पैलूंच्या सरासरी गुणांना दिला जातो. न आलेली किंवा अयशस्वी सादरीकरणे एकत्रित निकालात शून्य गुण मिळवतात; ती त्याच्या भाजकातून वगळली जात नाहीत. हे प्रकल्पाचे संकेतस्थळ 13 मॉडेलांचे गुण देते; मात्र ते लेखकांनी निवडलेली कामे, निर्मिती सेटअप आणि स्वयंचलित परीक्षक यांवर आधारित त्यांचे निकाल आहेत. संकेतस्थळ सात मॉडेलांनी 26 कामांत तयार केलेल्या दृश्यांची 181 पूर्वदृश्ये निवडक उदाहरणे म्हणूनही दाखवते आणि ती गुणवत्तेचा यादृच्छिक नमुना नसल्याचे स्पष्ट बजावते.

म्हणून हा बेंचमार्क एका प्रतिमापसंतीच्या गुणापेक्षा अधिक निदानात्मक तपशील देतो: निकाल एखादी संरचनात्मक अट, दृश्य अट किंवा व्यापक गुणवत्ता पैलू पूर्ण करण्यात कमी पडू शकतो. केवळ त्यावरून मॉडेलचे 3D आउटपुट एखाद्या स्टुडिओच्या संपादनयोग्यता, निर्यात कार्यप्रवाह किंवा विश्वासार्हतेच्या गरजा पूर्ण करते, हे सिद्ध होत नाही. प्रसिद्ध केलेली मानवी पसंतीची तुलना निवडक जोड्यांवर स्वयंचलित परीक्षकासोबत किती सहमती आहे, हे पाहते; पुढील वापरयोग्यतेचे ते प्रमाणपत्र नाही.

पुनरुत्पादनीय चाचणीसाठी काय लागते

नवी सादरीकरणे तयार करण्यासाठी सार्वजनिक सूचना Linux, Python 3.10 किंवा नंतरची आवृत्ती आणि Blender 4.2.10 सांगतात. मूल्यमापनासाठी त्याशिवाय Node.js 22.17.0, ffmpeg आणि ffprobe, रेंडरिंग व दृश्य तपासणीसाठी Claude Code 2.1.220 आणि कॉन्फिगर केलेला दृश्यक्षम मॉडेल एंडपॉइंट लागतो. रेपॉझिटरी डेटासेटमधील संसाधने तपासण्यासाठी bw verify, नियोजित चाचणी पाहण्यासाठी bw evaluate --dry-run आणि कामनिहाय पुरावे व सारांश फाइल्स लिहिणारा, थांबल्यानंतर पुन्हा चालू करता येणारा परीक्षक देते. या दस्तऐवजांतल्या कमांड आहेत; BIG CHANGE ने तपासलेले टप्पे नाहीत.

कोडला MIT परवाना आहे. मूल्यमापन चालवण्यासाठी तरीही नमूद केलेले सॉफ्टवेअर, योग्य संगणकीय क्षमता आणि कॉन्फिगर केलेल्या मॉडेल सेवांसाठी प्रवेश-माहिती आवश्यक आहे; दस्तऐवज प्रत्येक चाचणीची निश्चित किंमत ठरवत नाहीत. एजंटांची तुलना करताना कामांचा संच, Blender आवृत्ती, परीक्षकाची संरचना आणि मॉडेलांची पर्यायी नावे कायम ठेवून मग एकत्रित निकाल आणि अयशस्वी कामे दोन्ही तपासावीत. विश्वासार्ह दिसणारे चित्र आणि उच्च सरासरी गुण हे संघाला प्रत्यक्ष दृश्य बदलून सुपूर्द करता येईल का, यापेक्षा मर्यादित प्रश्नांची उत्तरे देतात.

स्रोत व अधिक वाचन