Der BlenderWorld-Benchmark von QwenLM fordert KI-Agenten auf, bearbeitbare 3D-Szenen in Blender abzuliefern. Seine 223 Aufgaben beginnen mit Textvorgaben, Bild- oder Videoreferenzen. Im Mittelpunkt der Einreichung steht ein natives final.blend-Projekt mit allen angeforderten Bildern, Videos und Texturdateien. So kann ein Bewerter die Szene ebenso wie die daraus erzeugten Bilder untersuchen.

Das öffentliche Repository wurde am 14. Oktober veröffentlicht und am 16. Oktober mit einer Überarbeitung der wissenschaftlichen Arbeit aktualisiert. Es bietet Aufgabendaten, Einreichungsregeln und ein Auswertungsprogramm. Für Künstler und Teams, die einen Agenten für Blender-Arbeiten ausprobieren, besteht der nützliche Fortschritt darin, innerhalb der Projektdatei zu prüfen, ob die Ausgabe die Vorgaben erfüllt. BIG CHANGE hat die Dokumentation und Projektseite geprüft; wir haben weder den Benchmark ausgeführt noch die eingereichten Szenen selbst untersucht.

Die große Veränderung

  • Was sich geändert hat: BlenderWorld bündelt 223 Gestaltungsaufträge und 2.651 aufgabenspezifische binäre Kriterien mit einem öffentlichen Auswertungsprogramm für native Blender-Einreichungen.
  • Warum es wichtig ist: Ein gerendertes Bild kann ein fehlendes Objekt, falsche Abmessungen oder ein unbrauchbares Projekt verbergen. Der Benchmark prüft Anforderungen durch Szeneninspektion und visuelle Belege, ergänzt um eine separate Bewertung der visuellen Qualität.
  • Worauf zu achten ist: Unabhängige Durchläufe mit den veröffentlichten Aufgaben, dem Code und den Modelleinstellungen würden zeigen, wie reproduzierbar die Werte der Autoren sind. Vor dem Produktionseinsatz muss ein Team die gespeicherten Projekte weiterhin selbst prüfen.

Von der Vorgabe zur bearbeitbaren Datei

Die Datensatzdokumentation definiert 78 Textaufgaben, 130 Bild-plus-Text-Aufgaben und 15 Video-plus-Text-Aufgaben. Neunundfünfzig enthalten außerdem Spezifikationsanhänge, die Abmessungen, Materialien oder Kameraanforderungen festlegen können. Jede Aufgabe hat eine ID, die Anforderung und gegebenenfalls Referenzen; ihr Bewertungsraster wird separat gespeichert. Der erzeugende Agent sieht das Bewertungsraster beim Erstellen der Szene nicht.

Die Schnellstartanleitung des Repositorys beschreibt bw prepare zum Bereitstellen der Vorgaben, Referenzen und Anhänge einer Aufgabe. Ein Agent arbeitet anschließend in Blender und speichert final.blend zusammen mit den geforderten Exporten und Abhängigkeiten. bw pack-submission erstellt pro Aufgabe eine ZIP-Datei. Das Auswertungsprogramm öffnet die Blender-Datei als primäres Projekt; ein ausgefeiltes finales Rendering gilt nicht als Ersatz für diese Datei.

Diese Unterscheidung ist bei der Beurteilung eines KI-Assistenten für 3D hilfreich. Ein Standbild kann den beabsichtigten Eindruck vermitteln, während die bearbeitbare Szene Geometrie, Materialien, Anordnung und Animation enthält, die ein anderer Künstler möglicherweise prüfen oder verändern muss. Das BlenderWorld-Format stellt beide Arten von Belegen bereit. Eine gültige Datei allein beweist jedoch nicht, dass jeder Teil eines professionellen Arbeitsablaufs einsatzbereit ist.

So funktioniert die Bewertung

Laut dem Bewertungsprotokoll wählt ein Rendering-Agent acht Ansichten aus der eingereichten Szene. Die Szeneninspektion bearbeitet Kriterien, die Projektzugriff erfordern; ein visueller Bewerter prüft visuelle Kriterien anhand von Renderings und anderen visuellen Belegen. Jede Aufgabe hat nach Wichtigkeit gewichtete binäre Bestehensbedingungen. Acht separate Bewertungen erfassen Szenentreue, physikalische Plausibilität, Stil und Farbe, Realismus, räumliche Anordnung, Proportion und Maßstab, Beleuchtung und Materialien sowie Vollständigkeit.

Die endgültige Aufgabenbewertung gewichtet das binäre Raster zur Hälfte und den Mittelwert der visuellen Einzelbewertungen zur anderen Hälfte. Fehlende oder gescheiterte Einreichungen erhalten im Gesamtergebnis null, statt aus dessen Nenner zu verschwinden. Die Projektwebsite berichtet Werte für 13 Modelle. Das sind jedoch Ergebnisse der Autoren unter ihren gewählten Aufgaben, Generierungskonfigurationen und automatischen Bewertern. Die Website zeigt außerdem 181 Szenenvorschauen von sieben Modellen über 26 Aufgaben als kuratierte Beispiele und warnt ausdrücklich, dass sie keine zufällige Qualitätsstichprobe sind.

Der Benchmark liefert damit mehr diagnostische Einzelheiten als ein einzelner Bildpräferenzwert: Ein Ergebnis kann eine strukturelle Anforderung, eine visuelle Anforderung oder eine umfassendere Qualitätsdimension verfehlen. Er allein kann nicht belegen, dass die 3D-Ausgabe eines Modells die Anforderungen eines bestimmten Studios an Bearbeitbarkeit, Exportablauf oder Zuverlässigkeit erfüllt. Der veröffentlichte Vergleich menschlicher Präferenzen prüft die Übereinstimmung mit dem automatischen Bewerter an ausgewählten Paaren; er zertifiziert keine Nutzbarkeit in nachgelagerten Schritten.

Was ein reproduzierbarer Durchlauf erfordert

Die öffentlichen Anleitungen nennen Linux mit Python 3.10 oder neuer und Blender 4.2.10 für die Vorbereitung neuer Einreichungen. Die Auswertung benötigt zusätzlich Node.js 22.17.0, ffmpeg und ffprobe, Claude Code 2.1.220 für Rendering und Szeneninspektion sowie einen konfigurierten Endpunkt eines bildfähigen Modells. Das Repository stellt bw verify zum Prüfen der Datensatzressourcen, bw evaluate --dry-run zur Prüfung eines geplanten Durchlaufs und ein fortsetzbares Auswertungsprogramm bereit, das Belege pro Aufgabe und Zusammenfassungsdateien schreibt. Dies sind dokumentierte Befehle, keine von BIG CHANGE getesteten Schritte.

Der Code steht unter der MIT-Lizenz. Für die Auswertung sind weiterhin die genannte Software, geeignete Rechenressourcen und Zugangsdaten für die konfigurierten Modelldienste nötig; die Dokumentation legt keinen festen Preis pro Durchlauf fest. Wer Agenten vergleicht, sollte Aufgabensatz, Blender-Version, Auswertungskonfiguration und Modellaliase konstant halten und anschließend sowohl das Gesamtergebnis als auch gescheiterte Aufgaben prüfen. Ein plausibles Bild und ein hoher Mittelwert beantworten engere Fragen als die, ob ein Team die tatsächliche Szene überarbeiten und ausliefern kann.

Quellen und weiterführende Lektüre