O benchmark BlenderWorld da QwenLM pede aos agentes de IA que entreguem cenas 3D editáveis no Blender. As suas 223 tarefas partem de instruções escritas, imagens de referência ou vídeos de referência. A entrega centra-se num projeto nativo final.blend, acompanhado das imagens, vídeos e ficheiros de texturas pedidos. Isto permite ao avaliador inspecionar tanto a cena como as imagens produzidas a partir dela.

Publicado a 14 de outubro e atualizado com uma revisão do artigo científico a 16 de outubro, o repositório público disponibiliza dados das tarefas, regras de entrega e uma ferramenta de avaliação. Para artistas e equipas que experimentam um agente em trabalho no Blender, o avanço útil é uma forma de verificar, dentro do ficheiro de projeto, se o resultado cumpre as instruções. A BIG CHANGE consultou a documentação e a página do projeto; não executámos o benchmark nem inspecionámos as cenas entregues.

A grande mudança

  • O que mudou: O BlenderWorld reúne 223 pedidos de criação e 2.651 critérios binários específicos das tarefas, juntamente com um avaliador público para entregas nativas do Blender.
  • Porque importa: Uma imagem renderizada pode esconder um objeto em falta, dimensões incorretas ou um projeto inutilizável. O benchmark verifica os requisitos através da inspeção da cena e de provas visuais, além de uma pontuação separada da qualidade visual.
  • O que acompanhar: Execuções independentes com as tarefas, o código e as definições dos modelos publicados mostrariam até que ponto as pontuações dos autores são reproduzíveis. Continua a ser necessária a revisão dos projetos guardados pela própria equipa antes de os usar em produção.

Das instruções ao ficheiro editável

A documentação do conjunto de dados define 78 tarefas de texto, 130 de imagem com texto e 15 de vídeo com texto. Cinquenta e nove têm ainda anexos de especificações que podem definir dimensões, materiais ou requisitos de câmara. Cada tarefa tem um ID, o pedido e eventuais referências; a sua grelha de avaliação é guardada à parte. O agente gerador não vê a grelha de avaliação enquanto cria a cena.

O guia de início rápido do repositório documenta bw prepare para preparar as instruções, referências e anexos de uma tarefa. Um agente trabalha depois no Blender e guarda final.blend, juntamente com as exportações e dependências exigidas pelas instruções. bw pack-submission cria um ZIP por tarefa. O avaliador abre o ficheiro do Blender como projeto principal; não trata uma renderização final cuidada como substituto desse ficheiro.

Esta distinção é útil ao avaliar um assistente de IA para 3D. Uma imagem estática pode transmitir o aspeto pretendido, enquanto a cena editável contém geometria, materiais, disposição e animação que outro artista poderá precisar de inspecionar ou alterar. O formato do BlenderWorld disponibiliza ambos os tipos de prova, embora um ficheiro válido, por si só, não demonstre que todas as partes de um fluxo profissional estão prontas a usar.

Como funciona a pontuação

Segundo o protocolo de avaliação, um agente de renderização seleciona oito vistas da cena entregue. A inspeção da cena trata critérios que exigem acesso ao projeto; um avaliador visual trata os critérios visuais através de renderizações e outras provas visuais. Cada tarefa tem condições binárias de aprovação ponderadas por importância. Oito classificações separadas abrangem fidelidade da cena, plausibilidade física, estilo e cor, realismo, disposição espacial, proporção e escala, iluminação e materiais e completude.

A pontuação final atribui metade do peso à grelha binária e metade à média das classificações das dimensões visuais. Entregas em falta ou falhadas recebem zero no agregado, em vez de desaparecerem do seu denominador. O site do projeto apresenta pontuações de 13 modelos, mas são resultados dos autores com as tarefas, configurações de geração e avaliadores automáticos que escolheram. O site mostra também 181 pré-visualizações de cenas de sete modelos em 26 tarefas como exemplos selecionados, avisando expressamente que não são uma amostra aleatória de qualidade.

O benchmark oferece assim mais detalhe de diagnóstico do que uma única pontuação de preferência por imagens: um resultado pode falhar um requisito estrutural, visual ou uma dimensão de qualidade mais ampla. Por si só, não demonstra que a saída 3D de um modelo cumpre os padrões de editabilidade, o processo de exportação ou as necessidades de fiabilidade de um estúdio específico. A comparação publicada de preferências humanas avalia a concordância com o avaliador automático em pares selecionados; não certifica a utilidade em etapas posteriores.

O que exige uma execução reproduzível

As instruções públicas especificam Linux com Python 3.10 ou posterior e Blender 4.2.10 para preparar novas entregas. A avaliação acrescenta Node.js 22.17.0, ffmpeg e ffprobe, Claude Code 2.1.220 para renderização e inspeção da cena e um endpoint configurado de um modelo com capacidade visual. O repositório disponibiliza bw verify para verificar os recursos do conjunto de dados, bw evaluate --dry-run para inspecionar uma execução planeada e uma ferramenta de avaliação cuja execução pode ser retomada e que escreve provas por tarefa e ficheiros de resumo. São comandos documentados, não passos testados pela BIG CHANGE.

O código tem licença MIT. Executar a avaliação continua a exigir o software indicado, recursos computacionais adequados e credenciais dos serviços de modelos configurados; a documentação não estabelece um preço fixo por execução. Quem compara agentes deve manter constantes o conjunto de tarefas, a versão do Blender, a configuração do avaliador e os aliases dos modelos, e depois examinar o agregado e as tarefas falhadas. Uma imagem plausível e uma média elevada respondem a questões mais estreitas do que saber se uma equipa consegue alterar e entregar a cena real.

Fontes e leituras adicionais