Бенчмарк BlenderWorld от QwenLM предлагает ИИ-агентам создавать редактируемые 3D-сцены в Blender. Его 223 задачи начинаются с текстовых заданий, изображений или видеообразцов. Основа сдаваемой работы — проект в родном формате final.blend вместе со всеми запрошенными изображениями, видео и файлами текстур. Это позволяет оценщику исследовать и саму сцену, и полученные из неё изображения.

Публичный репозиторий, выпущенный 14 октября и обновлённый с новой редакцией научной работы 16 октября, содержит данные задач, правила сдачи и программу оценки. Для художников и команд, пробующих агента в Blender, полезный шаг вперёд — возможность проверить внутри проектного файла, выполняет ли результат задание. BIG CHANGE изучила документацию и страницу проекта; мы не запускали бенчмарк и сами не проверяли сданные сцены.

Главное изменение

  • Что изменилось: BlenderWorld объединяет 223 творческих задания и 2651 двоичный критерий, привязанный к конкретным задачам, с публичной программой оценки работ в родном формате Blender.
  • Почему это важно: Отрендеренное изображение может скрывать отсутствующий объект, неверные размеры или непригодный проект. Бенчмарк проверяет требования через исследование сцены и визуальные свидетельства, дополнительно выставляя отдельную оценку визуального качества.
  • На что обратить внимание: Независимые запуски с опубликованными задачами, кодом и настройками моделей показали бы, насколько воспроизводимы оценки авторов. Перед использованием в производстве команда всё равно должна сама проверить сохранённые проекты.

От задания к редактируемому файлу

Эта документация набора данных определяет 78 текстовых задач, 130 задач с изображением и текстом и 15 — с видео и текстом. Пятьдесят девять также имеют приложения со спецификациями, которые могут задавать размеры, материалы или требования к камере. У каждой задачи есть ID, запрос и возможные референсы; рубрика оценки хранится отдельно. Создающий сцену агент не видит оценочную рубрику во время работы.

Это краткое руководство по репозиторию описывает bw prepare для подготовки задания, референсов и приложений. Затем агент работает в Blender и сохраняет final.blend вместе с требуемыми экспортами и зависимостями. bw pack-submission создаёт один ZIP на задачу. Оценщик открывает файл Blender как основной проект; красивый итоговый рендер не считается заменой этому файлу.

Это полезное различие при оценке ИИ-помощника для 3D. Статичное изображение может передавать задуманный вид, а редактируемая сцена содержит геометрию, материалы, компоновку и анимацию, которые другому художнику может понадобиться проверить или изменить. Формат BlenderWorld даёт оба вида свидетельств, хотя один лишь корректный файл не доказывает готовность всех частей профессионального процесса.

Как работает оценка

Согласно протоколу оценки, агент рендеринга выбирает восемь видов сданной сцены. Исследование сцены обрабатывает критерии, требующие доступа к проекту; визуальный оценщик использует рендеры и другие визуальные свидетельства для визуальных критериев. У каждой задачи есть двоичные условия прохождения, взвешенные по важности. Восемь отдельных оценок охватывают верность сцены, физическую правдоподобность, стиль и цвет, реалистичность, пространственную компоновку, пропорции и масштаб, освещение и материалы, а также полноту.

В итоговой оценке задачи половина веса приходится на двоичную рубрику, а половина — на среднюю оценку визуальных аспектов. Отсутствующие или неудачные работы получают ноль в общей оценке, а не исчезают из её знаменателя. Этот сайт проекта сообщает оценки 13 моделей, но это результаты авторов при выбранных ими задачах, настройках генерации и автоматических оценщиках. Сайт также показывает 181 превью сцен от семи моделей по 26 задачам как отобранные примеры и прямо предупреждает, что это не случайная выборка качества.

Таким образом, бенчмарк даёт больше диагностических подробностей, чем одна оценка предпочтения изображений: результат может не выполнить структурное требование, визуальное требование или более широкий критерий качества. Сам по себе он не доказывает, что 3D-вывод модели соответствует стандартам редактируемости, экспортному процессу или требованиям надёжности конкретной студии. Опубликованное сравнение человеческих предпочтений оценивает согласие с автоматическим оценщиком на выбранных парах; это не сертификация пригодности для дальнейшего использования.

Что требуется для воспроизводимого запуска

Открытые инструкции указывают Linux с Python 3.10 или новее и Blender 4.2.10 для подготовки новых работ. Для оценки дополнительно нужны Node.js 22.17.0, ffmpeg и ffprobe, Claude Code 2.1.220 для рендеринга и исследования сцен, а также настроенная конечная точка модели с поддержкой зрения. Репозиторий предоставляет bw verify для проверки ресурсов набора данных, bw evaluate --dry-run для просмотра запланированного запуска и возобновляемый оценщик, который записывает свидетельства по задачам и итоговые файлы. Это документированные команды, а не шаги, проверенные BIG CHANGE.

Код распространяется по лицензии MIT. Для оценки всё равно нужны указанное ПО, подходящие вычислительные ресурсы и учётные данные настроенных модельных сервисов; документация не устанавливает фиксированную цену запуска. При сравнении агентов следует сохранять неизменными набор задач, версию Blender, конфигурацию оценщика и псевдонимы моделей, затем изучать и общий результат, и проваленные задачи. Правдоподобная картинка и высокая средняя оценка отвечают на более узкие вопросы, чем способность команды изменить и сдать настоящую сцену.

Источники и дополнительные материалы