O benchmark BlenderWorld da QwenLM pede aos agentes de IA cenas 3D editáveis no Blender. Suas 223 tarefas partem de instruções escritas, imagens de referência ou vídeos de referência. A entrega se concentra em um projeto nativo final.blend, com as imagens, vídeos e arquivos de textura pedidos. Assim, o avaliador pode examinar a cena e também as imagens produzidas a partir dela.

Lançado em 14 de outubro e atualizado com uma revisão do artigo científico em 16 de outubro, o repositório público oferece dados das tarefas, regras de entrega e uma ferramenta de avaliação. Para artistas e equipes que experimentam um agente em trabalhos no Blender, o avanço útil é uma forma de verificar, dentro do arquivo do projeto, se a saída atende às instruções. O BIG CHANGE revisou a documentação e a página do projeto; não executamos o benchmark nem examinamos as cenas entregues por conta própria.

A grande mudança

  • O que mudou: O BlenderWorld reúne 223 pedidos de criação e 2.651 critérios binários específicos das tarefas, junto com um avaliador público para entregas nativas do Blender.
  • Por que importa: Uma imagem renderizada pode esconder um objeto ausente, dimensões incorretas ou um projeto inutilizável. O benchmark verifica requisitos pela inspeção da cena e por evidências visuais, além de uma pontuação separada de qualidade visual.
  • O que observar: Execuções independentes com as tarefas, o código e as configurações dos modelos publicados mostrariam até que ponto as pontuações dos autores são reproduzíveis. A equipe ainda precisa revisar os projetos salvos antes de usá-los em produção.

Das instruções ao arquivo editável

A documentação do conjunto de dados define 78 tarefas de texto, 130 de imagem mais texto e 15 de vídeo mais texto. Cinquenta e nove também têm especificações anexas que podem definir dimensões, materiais ou requisitos de câmera. Cada tarefa tem um ID, o pedido e eventuais referências; sua rubrica fica armazenada à parte. O agente gerador não vê a rubrica de avaliação enquanto cria a cena.

O guia de início rápido do repositório documenta bw prepare para preparar as instruções, referências e anexos de uma tarefa. Em seguida, um agente trabalha no Blender e salva final.blend, com as exportações e dependências exigidas nas instruções. bw pack-submission cria um ZIP por tarefa. O avaliador abre o arquivo do Blender como projeto principal; não considera que um render final bem-acabado substitua esse arquivo.

Essa distinção é útil ao avaliar um assistente de IA para 3D. Uma imagem estática pode comunicar a aparência desejada, enquanto a cena editável contém geometria, materiais, layout e animação que outro artista talvez precise examinar ou alterar. O formato do BlenderWorld oferece os dois tipos de evidência, mas um arquivo válido, sozinho, não demonstra que todas as partes de um fluxo profissional estejam prontas para uso.

Como funciona a pontuação

Segundo o protocolo de avaliação, um agente de renderização seleciona oito vistas da cena entregue. A inspeção da cena trata critérios que exigem acesso ao projeto; um avaliador visual trata os critérios visuais com renders e outras evidências visuais. Cada tarefa tem condições binárias de aprovação ponderadas por importância. Oito avaliações separadas abrangem fidelidade da cena, plausibilidade física, estilo e cor, realismo, layout espacial, proporção e escala, iluminação e materiais e completude.

A pontuação final dá metade do peso à rubrica binária e metade à média das avaliações das dimensões visuais. Entregas ausentes ou que falharam recebem zero no agregado, em vez de desaparecerem do denominador. O site do projeto relata pontuações de 13 modelos, mas são resultados dos autores com as tarefas, configurações de geração e avaliadores automáticos escolhidos por eles. O site também apresenta 181 prévias de cenas de sete modelos em 26 tarefas como exemplos selecionados, alertando expressamente que não são uma amostra aleatória de qualidade.

Assim, o benchmark traz mais detalhes de diagnóstico que uma única pontuação de preferência de imagens: um resultado pode falhar em um requisito estrutural, visual ou em uma dimensão de qualidade mais ampla. Ele sozinho não prova que a saída 3D de um modelo atende aos padrões de editabilidade, ao fluxo de exportação ou às necessidades de confiabilidade de um estúdio específico. A comparação publicada de preferências humanas avalia a concordância com o avaliador automático em pares selecionados; não certifica a utilidade em etapas posteriores.

O que uma execução reproduzível exige

As instruções públicas especificam Linux com Python 3.10 ou posterior e Blender 4.2.10 para preparar novas entregas. A avaliação acrescenta Node.js 22.17.0, ffmpeg e ffprobe, Claude Code 2.1.220 para renderização e inspeção da cena, e um endpoint configurado de um modelo com capacidade visual. O repositório fornece bw verify para verificar os recursos do conjunto de dados, bw evaluate --dry-run para examinar uma execução planejada e um avaliador que pode retomar a execução e grava evidências por tarefa e arquivos de resumo. Esses são comandos documentados, não etapas testadas pelo BIG CHANGE.

O código tem licença MIT. Executar a avaliação ainda exige os programas listados, recursos computacionais adequados e credenciais dos serviços de modelos configurados; a documentação não estabelece um preço fixo por execução. Quem compara agentes deve manter constantes o conjunto de tarefas, a versão do Blender, a configuração do avaliador e os aliases dos modelos, e então examinar o agregado e as tarefas que falharam. Uma imagem plausível e uma média alta respondem a perguntas mais estreitas do que se a equipe consegue alterar e entregar a cena real.

Fontes e leituras complementares