QwenLM का BlenderWorld बेंचमार्क AI एजेंटों से Blender में संपादनयोग्य 3D दृश्य देने को कहता है। इसके 223 काम लिखित निर्देशों, संदर्भ चित्रों या संदर्भ वीडियो से शुरू होते हैं। सबमिशन के केंद्र में मूल फ़ॉर्मैट का final.blend प्रोजेक्ट होता है, जिसके साथ माँगे गए चित्र, वीडियो और टेक्स्चर फ़ाइलें दी जाती हैं। इससे मूल्यांकनकर्ता दृश्य और उससे बने चित्र, दोनों जाँच सकता है।

14 अक्टूबर को जारी और 16 अक्टूबर को शोधपत्र के संशोधन के साथ अपडेट की गई सार्वजनिक रिपॉजिटरी काम का डेटा, सबमिशन के नियम और मूल्यांकन चलाने का टूल देती है। Blender के काम में एजेंट आज़माने वाले कलाकारों और टीमों के लिए उपयोगी प्रगति यह है कि प्रोजेक्ट फ़ाइल के भीतर जाँचा जा सकता है कि आउटपुट निर्देशों को पूरा करता है या नहीं। BIG CHANGE ने दस्तावेज़ और प्रोजेक्ट पेज देखे; हमने बेंचमार्क नहीं चलाया और न जमा किए गए दृश्य स्वयं जाँचे।

बड़ा बदलाव

  • क्या बदला: BlenderWorld, Blender के मूल फ़ॉर्मैट वाले सबमिशन के सार्वजनिक मूल्यांकन टूल के साथ 223 रचनात्मक अनुरोध और काम-विशिष्ट 2,651 द्विआधारी मापदंड देता है।
  • यह क्यों मायने रखता है: रेंडर किया हुआ चित्र गायब ऑब्जेक्ट, गलत माप या अनुपयोगी प्रोजेक्ट छिपा सकता है। बेंचमार्क दृश्य की जाँच और दृश्य साक्ष्य से ज़रूरतें परखता है, साथ में दृश्य गुणवत्ता का अलग स्कोर भी देता है।
  • क्या ध्यान में रखें: प्रकाशित कामों, कोड और मॉडल सेटिंग से स्वतंत्र परीक्षण यह दिखा सकेंगे कि लेखकों के अंक कितने दोहराए जा सकते हैं। प्रोडक्शन में इस्तेमाल से पहले सहेजे गए प्रोजेक्ट की टीम द्वारा अपनी समीक्षा अब भी ज़रूरी है।

निर्देशों से संपादनयोग्य फ़ाइल तक

यह डेटासेट दस्तावेज़ 78 टेक्स्ट कार्य, 130 चित्र-प्लस-टेक्स्ट और 15 वीडियो-प्लस-टेक्स्ट कार्य परिभाषित करता है। उनसठ कार्यों में स्पेसिफ़िकेशन अटैचमेंट भी हैं, जो माप, मटेरियल या कैमरा ज़रूरतें तय कर सकते हैं। हर कार्य का ID, अनुरोध और कोई संदर्भ होता है; उसकी मूल्यांकन रूब्रिक अलग रखी जाती है। दृश्य बनाते समय जनरेशन एजेंट को मूल्यांकन रूब्रिक नहीं दिखाई जाती।

यह रिपॉजिटरी की क्विकस्टार्ट मार्गदर्शिका कार्य के निर्देश, संदर्भ और अटैचमेंट तैयार करने के लिए bw prepare बताती है। इसके बाद एजेंट Blender में काम करके final.blend के साथ निर्देशों में माँगे गए एक्सपोर्ट और डिपेंडेंसी सहेजता है। bw pack-submission हर कार्य के लिए एक ZIP बनाता है। मूल्यांकनकर्ता Blender फ़ाइल को मुख्य प्रोजेक्ट के रूप में खोलता है; वह सँवारे गए अंतिम रेंडर को उस फ़ाइल का विकल्प नहीं मानता।

AI 3D सहायक को परखते समय यह उपयोगी अंतर है। स्थिर चित्र इच्छित रूप दिखा सकता है, जबकि संपादनयोग्य दृश्य में ज्यामिति, मटेरियल, लेआउट और एनीमेशन होते हैं, जिन्हें किसी दूसरे कलाकार को जाँचने या बदलने की ज़रूरत पड़ सकती है। BlenderWorld फ़ॉर्मैट दोनों तरह के साक्ष्य देता है, लेकिन केवल वैध फ़ाइल होने से पेशेवर कार्यप्रवाह का हर भाग उपयोग के लिए तैयार साबित नहीं होता।

स्कोर कैसे बनता है

इस मूल्यांकन प्रोटोकॉल के अनुसार रेंडरिंग एजेंट जमा किए गए दृश्य से आठ व्यू चुनता है। दृश्य की जाँच उन मापदंडों को संभालती है जिनके लिए प्रोजेक्ट की पहुँच चाहिए; दृश्य मूल्यांकनकर्ता रेंडर और अन्य दृश्य साक्ष्य से दृश्य मापदंड जाँचता है। हर काम में महत्त्व के अनुसार भार दिए गए द्विआधारी उत्तीर्णता मानदंड हैं। आठ अलग रेटिंग दृश्य की अनुरूपता, भौतिक संगति, शैली और रंग, यथार्थवाद, स्थानिक लेआउट, अनुपात और पैमाना, रोशनी और मटेरियल, तथा संपूर्णता को जाँचती हैं।

काम का अंतिम स्कोर आधा भार द्विआधारी रूब्रिक को और आधा दृश्य आयामों की औसत रेटिंग को देता है। अनुपस्थित या विफल सबमिशन को समग्र नतीजे में शून्य मिलता है; उन्हें उसके हर से हटाया नहीं जाता। यह प्रोजेक्ट साइट 13 मॉडलों के अंक बताती है, लेकिन वे लेखकों के चुने कामों, जनरेशन सेटअप और स्वचालित मूल्यांकनकर्ताओं से मिले उनके नतीजे हैं। साइट सात मॉडलों के 26 कामों से 181 दृश्य प्रिव्यू चुने हुए उदाहरणों के तौर पर भी दिखाती है और स्पष्ट चेतावनी देती है कि ये गुणवत्ता के रैंडम नमूने नहीं हैं।

इसलिए बेंचमार्क एक चित्र-पसंद स्कोर से अधिक निदान संबंधी विवरण देता है: नतीजा संरचनात्मक ज़रूरत, दृश्य ज़रूरत या व्यापक गुणवत्ता आयाम में विफल हो सकता है। यह अकेले साबित नहीं करता कि मॉडल का 3D आउटपुट किसी स्टूडियो के संपादनयोग्यता मानक, एक्सपोर्ट पाइपलाइन या विश्वसनीयता की ज़रूरतें पूरी करता है। प्रकाशित मानवीय पसंद की तुलना चुने हुए जोड़ों पर स्वचालित मूल्यांकनकर्ता से सहमति जाँचती है; यह आगे के इस्तेमाल की उपयोगिता का प्रमाणन नहीं है।

दोहराए जा सकने वाले परीक्षण के लिए क्या चाहिए

नए सबमिशन तैयार करने के लिए सार्वजनिक निर्देश Linux, Python 3.10 या नया और Blender 4.2.10 बताते हैं। मूल्यांकन के लिए अतिरिक्त रूप से Node.js 22.17.0, ffmpeg और ffprobe, रेंडरिंग व दृश्य जाँच के लिए Claude Code 2.1.220 और कॉन्फ़िगर किया गया दृश्य-क्षमता वाला मॉडल एंडपॉइंट चाहिए। रिपॉजिटरी डेटासेट संसाधन जाँचने के लिए bw verify, नियोजित परीक्षण देखने के लिए bw evaluate --dry-run और फिर से शुरू किया जा सकने वाला मूल्यांकनकर्ता देती है, जो हर काम के साक्ष्य और सारांश फ़ाइलें लिखता है। ये दस्तावेज़ों में दिए कमांड हैं, BIG CHANGE के जाँचे हुए चरण नहीं।

कोड MIT लाइसेंस के अंतर्गत है। मूल्यांकन चलाने के लिए बताए गए सॉफ़्टवेयर, उपयुक्त कंप्यूटिंग संसाधन और कॉन्फ़िगर की गई मॉडल सेवाओं के क्रेडेंशियल अब भी चाहिए; दस्तावेज़ प्रति परीक्षण कोई तय कीमत नहीं बताते। एजेंटों की तुलना करने वाले को कार्यों का सेट, Blender संस्करण, मूल्यांकनकर्ता की कॉन्फ़िगरेशन और मॉडल के उपनाम स्थिर रखकर समग्र नतीजे व विफल कार्य दोनों देखने चाहिए। विश्वसनीय दिखता चित्र और ऊँचा औसत स्कोर, टीम असली दृश्य बदलकर दे पाएगी या नहीं, इससे संकरे सवालों के जवाब हैं।

स्रोत और आगे पढ़ने के लिए