Le benchmark BlenderWorld de QwenLM demande aux agents d’IA de livrer des scènes 3D modifiables dans Blender. Ses 223 tâches partent de consignes écrites, d’images ou de vidéos de référence. La soumission repose sur un projet natif final.blend, accompagné des images, vidéos et fichiers de textures demandés. Un évaluateur peut ainsi examiner la scène aussi bien que les images produites à partir d’elle.

Publié le 14 octobre puis mis à jour avec une révision de l’article scientifique le 16 octobre, le dépôt public fournit les données des tâches, les règles de soumission et un programme d’évaluation. Pour les artistes et équipes qui essaient un agent sur des travaux Blender, l’avancée utile est de pouvoir vérifier, dans le fichier du projet, si le résultat respecte les consignes. BIG CHANGE a consulté la documentation et la page du projet ; nous n’avons pas exécuté le benchmark ni examiné nous-mêmes les scènes soumises.

Le grand changement

  • Ce qui change : BlenderWorld réunit 223 demandes de création et 2 651 critères binaires propres aux tâches, avec un évaluateur public pour les soumissions natives Blender.
  • Pourquoi c’est important : Une image rendue peut masquer un objet absent, des dimensions incorrectes ou un projet inutilisable. Le benchmark vérifie les exigences par l’inspection de la scène et des éléments visuels, avec une note distincte de qualité visuelle.
  • Ce qu’il faut surveiller : Des exécutions indépendantes utilisant les tâches, le code et les réglages de modèles publiés montreraient à quel point les scores des auteurs sont reproductibles. Une équipe doit toujours vérifier elle-même les projets enregistrés avant de les utiliser en production.

Des consignes au fichier modifiable

La documentation du jeu de données définit 78 tâches textuelles, 130 tâches image-et-texte et 15 tâches vidéo-et-texte. Cinquante-neuf ont aussi des spécifications jointes pouvant fixer des dimensions, des matériaux ou des exigences de caméra. Chaque tâche possède un ID, la demande et les références éventuelles ; sa grille d’évaluation est stockée séparément. L’agent générateur ne voit pas la grille d’évaluation pendant qu’il crée la scène.

Le guide de démarrage rapide du dépôt décrit bw prepare pour préparer les consignes, références et pièces jointes d’une tâche. Un agent travaille ensuite dans Blender et enregistre final.blend, ainsi que les exports et dépendances demandés. bw pack-submission crée un ZIP par tâche. L’évaluateur ouvre le fichier Blender comme projet principal ; un rendu final soigné ne remplace pas ce fichier.

Cette distinction est utile pour évaluer un assistant d’IA pour la 3D. Une image fixe peut transmettre l’apparence souhaitée, tandis que la scène modifiable contient la géométrie, les matériaux, la disposition et l’animation qu’un autre artiste pourrait devoir examiner ou modifier. Le format de BlenderWorld fournit ces deux types d’éléments, mais un fichier valide ne prouve pas à lui seul que chaque partie d’un processus professionnel est prête à l’emploi.

Comment fonctionne la notation

Selon le protocole d’évaluation, un agent de rendu choisit huit vues de la scène soumise. L’inspection de la scène traite les critères nécessitant l’accès au projet ; un évaluateur visuel traite les critères visuels à partir des rendus et d’autres éléments visuels. Chaque tâche a des conditions binaires de réussite pondérées par importance. Huit notes distinctes couvrent la fidélité de la scène, la plausibilité physique, le style et la couleur, le réalisme, la disposition spatiale, les proportions et l’échelle, l’éclairage et les matériaux, ainsi que la complétude.

La note finale de la tâche accorde la moitié du poids à la grille binaire et l’autre moitié à la moyenne des notes des dimensions visuelles. Les soumissions absentes ou échouées reçoivent zéro dans le résultat agrégé, au lieu de disparaître de son dénominateur. Le site du projet publie les scores de 13 modèles, mais ce sont les résultats des auteurs avec leurs choix de tâches, de configurations de génération et d’évaluateurs automatiques. Le site présente aussi 181 aperçus de scènes de sept modèles sur 26 tâches comme des exemples sélectionnés, en précisant qu’ils ne constituent pas un échantillon aléatoire de qualité.

Le benchmark apporte donc plus de détails diagnostiques qu’un unique score de préférence d’image : un résultat peut manquer une exigence structurelle, visuelle ou une dimension de qualité plus large. Il ne prouve pas à lui seul que la sortie 3D d’un modèle satisfait aux critères d’éditabilité, à la chaîne d’export ou aux besoins de fiabilité d’un studio donné. La comparaison publiée des préférences humaines mesure l’accord avec l’évaluateur automatique sur des paires choisies ; elle ne certifie pas l’utilisabilité en aval.

Ce qu’exige une exécution reproductible

Les instructions publiques indiquent Linux avec Python 3.10 ou ultérieur et Blender 4.2.10 pour préparer de nouvelles soumissions. L’évaluation ajoute Node.js 22.17.0, ffmpeg et ffprobe, Claude Code 2.1.220 pour le rendu et l’inspection des scènes, ainsi qu’un point de terminaison configuré pour un modèle doté de capacités visuelles. Le dépôt fournit bw verify pour vérifier les ressources du jeu de données, bw evaluate --dry-run pour examiner une exécution prévue, et un outil d’évaluation dont l’exécution peut reprendre après un arrêt et qui écrit les éléments de preuve de chaque tâche et des fichiers de synthèse. Ce sont des commandes documentées, pas des étapes testées par BIG CHANGE.

Le code est sous licence MIT. Exécuter l’évaluation nécessite toujours les logiciels indiqués, des ressources de calcul adaptées et des identifiants pour les services de modèles configurés ; la documentation ne fixe pas de prix par exécution. Pour comparer des agents, il faut maintenir constants le jeu de tâches, la version de Blender, la configuration de l’évaluateur et les alias des modèles, puis examiner le résultat agrégé et les tâches échouées. Une image plausible et une moyenne élevée répondent à des questions plus étroites que celle de savoir si une équipe peut modifier et livrer la scène réelle.

Sources et lectures complémentaires