El benchmark BlenderWorld de QwenLM pide a los agentes de IA escenas 3D editables en Blender. Sus 223 tareas parten de instrucciones escritas, imágenes o vídeos de referencia. La entrega gira en torno a un proyecto nativo final.blend, junto con las imágenes, vídeos y archivos de texturas solicitados. Así, un evaluador puede inspeccionar tanto la escena como las imágenes obtenidas de ella.

Publicado el 14 de octubre y actualizado con una revisión del artículo científico el 16 de octubre, el repositorio público ofrece datos de las tareas, normas de entrega y una herramienta de evaluación. Para artistas y equipos que prueban un agente con trabajos en Blender, el avance útil es poder comprobar si el resultado satisface las instrucciones dentro del archivo del proyecto. BIG CHANGE revisó la documentación y la página del proyecto; no ejecutamos el benchmark ni inspeccionamos por nuestra cuenta las escenas entregadas.

El gran cambio

  • Qué ha cambiado: BlenderWorld reúne 223 encargos de creación y 2651 criterios binarios específicos de cada tarea con un evaluador público para entregas nativas de Blender.
  • Por qué importa: Una imagen renderizada puede ocultar un objeto ausente, dimensiones incorrectas o un proyecto inutilizable. El benchmark comprueba los requisitos mediante la inspección de la escena y evidencias visuales, junto con una puntuación independiente de calidad visual.
  • En qué fijarse: Ejecuciones independientes con las tareas, el código y la configuración de modelos publicados mostrarían hasta qué punto son reproducibles las puntuaciones de los autores. Sigue siendo necesaria una revisión del equipo de los proyectos guardados antes de utilizarlos en producción.

De las instrucciones al archivo editable

La documentación del conjunto de datos define 78 tareas de texto, 130 de imagen más texto y 15 de vídeo más texto. Cincuenta y nueve también incluyen especificaciones adjuntas que pueden fijar dimensiones, materiales o requisitos de cámara. Cada tarea tiene un ID, la petición y las referencias, si las hay; su rúbrica se guarda por separado. El agente generador no ve la rúbrica de evaluación mientras crea la escena.

La guía de inicio rápido del repositorio documenta bw prepare para preparar las instrucciones, referencias y archivos adjuntos de una tarea. Después, un agente trabaja en Blender y guarda final.blend, junto con las exportaciones y dependencias que exigen las instrucciones. bw pack-submission crea un ZIP por tarea. El evaluador abre el archivo de Blender como proyecto principal; no considera que un render final pulido sustituya a ese archivo.

Esta distinción es útil al evaluar un asistente de IA para 3D. Una imagen fija puede transmitir el aspecto deseado, mientras que la escena editable contiene geometría, materiales, distribución y animación que otro artista podría necesitar inspeccionar o modificar. El formato de BlenderWorld ofrece ambos tipos de evidencia, aunque un archivo válido por sí solo no demuestra que todas las partes de un flujo profesional estén listas para usarse.

Cómo funciona la puntuación

Según el protocolo de evaluación, un agente de renderizado selecciona ocho vistas de la escena entregada. La inspección de la escena aborda criterios que requieren acceso al proyecto; un evaluador visual aborda los criterios visuales mediante renders y otras evidencias visuales. Cada tarea tiene condiciones binarias de aprobación ponderadas según su importancia. Ocho valoraciones separadas cubren la fidelidad de la escena, la plausibilidad física, el estilo y el color, el realismo, la distribución espacial, la proporción y la escala, la iluminación y los materiales, y el grado de completitud.

La puntuación final de la tarea asigna la mitad de su peso a la rúbrica binaria y la otra mitad a la media de las valoraciones visuales. Las entregas ausentes o fallidas reciben un cero en el agregado, en lugar de desaparecer de su denominador. El sitio del proyecto publica puntuaciones de 13 modelos, pero son resultados de los autores con las tareas, configuraciones de generación y evaluadores automáticos elegidos por ellos. El sitio también presenta 181 vistas previas de escenas de siete modelos en 26 tareas como ejemplos seleccionados, y advierte expresamente de que no son una muestra aleatoria de calidad.

Por tanto, el benchmark aporta más detalle diagnóstico que una sola puntuación de preferencia de imágenes: un resultado puede incumplir un requisito estructural, visual o una dimensión de calidad más amplia. Por sí solo no demuestra que la salida 3D de un modelo cumpla las normas de editabilidad, la cadena de exportación o las necesidades de fiabilidad de un estudio concreto. La comparación publicada de preferencias humanas evalúa la concordancia con su evaluador automático en pares seleccionados; no certifica la utilidad en etapas posteriores.

Qué requiere una ejecución reproducible

Las instrucciones públicas especifican Linux con Python 3.10 o posterior y Blender 4.2.10 para preparar nuevas entregas. La evaluación añade Node.js 22.17.0, ffmpeg y ffprobe, Claude Code 2.1.220 para el renderizado y la inspección de escenas, y un endpoint configurado de un modelo con capacidad visual. El repositorio proporciona bw verify para verificar los recursos del conjunto de datos, bw evaluate --dry-run para inspeccionar una ejecución prevista y un evaluador reanudable que escribe evidencias de cada tarea y archivos de resumen. Son comandos documentados, no pasos probados por BIG CHANGE.

El código tiene licencia MIT. Ejecutar la evaluación sigue requiriendo el software indicado, recursos de cómputo adecuados y credenciales para los servicios de modelos configurados; la documentación no establece un precio fijo por ejecución. Al comparar agentes, conviene mantener constantes el conjunto de tareas, la versión de Blender, la configuración del evaluador y los alias de los modelos, y examinar tanto el agregado como las tareas fallidas. Una imagen plausible y una media alta responden a preguntas más limitadas que si un equipo puede modificar y entregar la escena real.

Fuentes y lecturas adicionales