يطلب معيار BlenderWorld من QwenLM من وكلاء الذكاء الاصطناعي تقديم مشاهد 3D قابلة للتحرير في Blender. وتبدأ مهامه البالغ عددها 223 بتعليمات نصية أو صور مرجعية أو فيديوهات مرجعية. ويتمحور التسليم حول مشروع بصيغة Blender الأصلية final.blend، مع الصور والفيديوهات وملفات الإكساء (textures) المطلوبة. ويتيح ذلك للمقيّم فحص المشهد وكذلك الصور الناتجة عنه.

أُصدر المستودع العام في 14 أكتوبر وحُدّث مع نسخة منقحة من الورقة البحثية في 16 أكتوبر، ويوفّر بيانات المهام وقواعد التسليم وأداة لتشغيل التقييم. وللفنانين والفرق التي تجرّب وكيلًا في أعمال Blender، يتمثل التقدم المفيد في طريقة لاختبار تلبية الناتج للتعليمات داخل ملف المشروع. وراجع BIG CHANGE الوثائق وصفحة المشروع؛ لم نشغّل الاختبار المعياري أو نفحص المشاهد المقدمة بأنفسنا.

التغيير الكبير

  • ما الذي تغيّر: يجمع BlenderWorld بين 223 طلب إنشاء و2651 معيارًا ثنائيًا خاصًا بالمهام، مع أداة تقييم عامة للتسليمات بصيغة Blender الأصلية.
  • لماذا يهم: قد تخفي الصورة المصيّرة عنصرًا مفقودًا أو أبعادًا خاطئة أو مشروعًا غير قابل للاستخدام. ويفحص الاختبار المتطلبات بمعاينة المشهد والأدلة البصرية، إلى جانب درجة منفصلة للجودة البصرية.
  • ما الذي ينبغي متابعته: ستبيّن عمليات تشغيل مستقلة بالمهام والشيفرة وإعدادات النماذج المنشورة مدى قابلية إعادة إنتاج درجات المؤلفين. وتبقى مراجعة الفريق نفسه للمشاريع المحفوظة ضرورية قبل استخدامها في الإنتاج.

من التعليمات إلى الملف القابل للتحرير

تحدّد وثائق مجموعة البيانات 78 مهمة نصية، و130 مهمة تجمع الصورة والنص، و15 مهمة تجمع الفيديو والنص. وتحتوي تسع وخمسون مهمة أيضًا على مرفقات مواصفات قد تحدّد الأبعاد أو الخامات أو متطلبات الكاميرا. ولكل مهمة ID والطلب وأي مراجع؛ ويُحفظ سلم تقييمها منفصلًا. ولا يُعرض سلم التقييم على وكيل الإنشاء أثناء صنع المشهد.

يوثّق دليل البدء السريع للمستودع الأمر bw prepare لتجهيز تعليمات المهمة ومراجعها ومرفقاتها. ثم يعمل الوكيل في Blender ويحفظ final.blend، مع ملفات التصدير والاعتماديات المطلوبة في التعليمات. وينشئ الأمر bw pack-submission ملف ZIP واحدًا لكل مهمة. وتفتح أداة التقييم ملف Blender بوصفه المشروع الرئيسي؛ ولا تعتبر التصيير النهائي المصقول بديلًا لهذا الملف.

هذا تمييز مفيد عند تقييم مساعد ذكاء اصطناعي لأعمال 3D. فقد تنقل الصورة الثابتة المظهر المطلوب، بينما يحتوي المشهد القابل للتحرير على الهندسة والخامات والتوزيع والحركة التي قد يحتاج فنان آخر إلى فحصها أو تعديلها. ويتيح تنسيق BlenderWorld نوعي الأدلة، لكن وجود ملف صالح وحده لا يثبت أن كل جزء من سير العمل الاحترافي جاهز للاستخدام.

كيف يجري احتساب الدرجات

وفق بروتوكول التقييم، يختار وكيل التصيير ثماني زوايا من المشهد المقدم. ويتولى فحص المشهد المعايير التي تتطلب الوصول إلى المشروع؛ ويتولى مقيّم بصري المعايير البصرية باستخدام التصييرات والأدلة البصرية الأخرى. ولكل مهمة شروط نجاح ثنائية موزونة حسب الأهمية. وتشمل ثمانية تقييمات منفصلة أمانة تمثيل المشهد، والمعقولية الفيزيائية، والأسلوب واللون، والواقعية، والتوزيع المكاني، والنسب والمقياس، والإضاءة والخامات، والاكتمال.

تمنح الدرجة النهائية للمهمة نصف الوزن لسلم التقييم الثنائي ونصفه لمتوسط تقييم الأبعاد البصرية. وتحصل التسليمات الغائبة أو الفاشلة على صفر في النتيجة الإجمالية، بدل حذفها من مقامها. ويعرض موقع المشروع درجات 13 نموذجًا، لكنها نتائج المؤلفين وفق المهام وإعدادات الإنشاء وأدوات التقييم الآلية التي اختاروها. ويعرض الموقع أيضًا 181 معاينة لمشاهد من سبعة نماذج في 26 مهمة بوصفها أمثلة منتقاة، مع تحذير صريح بأنها ليست عينة عشوائية للجودة.

لذلك يوفّر الاختبار تفاصيل تشخيصية أكثر من درجة واحدة لتفضيل الصور: فقد يفشل الناتج في متطلب بنيوي أو بصري أو بُعد أوسع للجودة. ولا يثبت وحده أن مخرجات 3D لنموذج ما تلبّي معايير استوديو محدد لقابلية التحرير أو مسار التصدير أو الموثوقية. وتقيس مقارنة التفضيلات البشرية المنشورة الاتفاق مع المقيّم الآلي على أزواج مختارة؛ وليست شهادة بصلاحية الاستخدام اللاحق.

ما الذي يتطلبه تشغيل قابل لإعادة الإنتاج

تحدّد التعليمات العامة Linux مع Python 3.10 أو أحدث وBlender 4.2.10 لتحضير تسليمات جديدة. ويضيف التقييم Node.js 22.17.0، ffmpeg و ffprobe، وClaude Code 2.1.220 للتصيير وفحص المشاهد، ونقطة نهاية مضبوطة لنموذج ذي قدرات بصرية. ويوفّر المستودع bw verify لفحص موارد مجموعة البيانات، و bw evaluate --dry-run لمعاينة تشغيل مخطط، وأداة تقييم قابلة للاستئناف تكتب أدلة كل مهمة وملفات الملخص. وهذه أوامر موثقة، وليست خطوات اختبرها BIG CHANGE.

الشيفرة مرخّصة برخصة MIT. ولا يزال تشغيل التقييم يحتاج إلى البرمجيات المذكورة والموارد الحاسوبية المناسبة وبيانات اعتماد خدمات النماذج المضبوطة؛ ولا تحدّد الوثائق سعرًا ثابتًا لكل تشغيل. وينبغي عند مقارنة الوكلاء تثبيت مجموعة المهام وإصدار Blender وإعداد أداة التقييم والأسماء البديلة للنماذج، ثم فحص النتيجة الإجمالية والمهام الفاشلة. فصورة معقولة ومتوسط مرتفع يجيبان عن أسئلة أضيق من قدرة الفريق على تعديل المشهد الفعلي وتسليمه.

المصادر وقراءات إضافية