QwenLM-ов тест BlenderWorld тражи од AI агената да испоруче измењиве 3D сцене у Blender-у. Његових 223 задатка почињу текстуалним упутствима, референтним сликама или видео-снимцима. Предаја се заснива на изворном пројекту final.blend, уз све тражене слике, видео-снимке и датотеке текстура. Тако оцењивач може да прегледа и сцену и слике настале из ње.

Јавно спремиште, објављено 14. октобра и ажурирано ревизијом научног рада 16. октобра, пружа податке о задацима, правила предаје и алат за покретање оцењивања. За уметнике и тимове који испробавају агента на раду у Blender-у користан напредак је начин да се у самој пројектној датотеци провери да ли резултат испуњава задате захтеве. BIG CHANGE је прегледао документацију и страницу пројекта; нисмо покретали тест нити сами прегледали предате сцене.

Велика промена

  • Шта се променило: BlenderWorld обједињује 223 креативна захтева и 2.651 бинарни критеријум специфичан за задатак, уз јавно доступан алат за оцењивање изворних Blender пројеката.
  • Зашто је важно: Рендерована слика може да сакрије објекат који недостаје, погрешне димензије или неупотребљив пројекат. Тест проверава захтеве прегледом сцене и визуелним доказима, уз одвојену оцену визуелног квалитета.
  • Шта пратити: Независна покретања уз објављене задатке, код и подешавања модела показала би колико су резултати аутора поновљиви. Тим и даље мора сам да прегледа сачуване пројекте пре употребе у продукцији.

Од захтева до измењиве датотеке

Ова документација скупа података дефинише 78 текстуалних задатака, 130 задатака са сликом и текстом и 15 са видеом и текстом. Педесет девет задатака има и прилоге са спецификацијама, који могу да одреде димензије, материјале или захтеве за камеру. Сваки задатак има ID, захтев и евентуалне референце; рубрика за оцењивање чува се одвојено. Агент који генерише сцену не види рубрику оцењивања док је прави.

Овај водич за брзи почетак у спремишту описује bw prepare за припрему захтева, референци и прилога задатка. Агент затим ради у Blender-у и чува final.blend, заједно са извозним датотекама и зависностима које захтев налаже. bw pack-submission прави један ZIP по задатку. Оцењивач отвара Blender датотеку као главни пројекат; дотерани завршни рендер не сматра заменом за њу.

Ово је корисна разлика при процени AI помоћника за 3D. Статична слика може да пренесе жељени изглед, док измењива сцена садржи геометрију, материјале, распоред и анимацију које би други уметник морао да прегледа или измени. Формат BlenderWorld пружа обе врсте доказа, мада сама исправна датотека не показује да је сваки део професионалног радног процеса спреман за употребу.

Како функционише оцењивање

Према протоколу оцењивања, агент за рендеровање бира осам погледа из предате сцене. Преглед сцене обрађује критеријуме који захтевају приступ пројекту; визуелни оцењивач обрађује визуелне критеријуме уз рендере и друге визуелне доказе. Сваки задатак има бинарне услове пролаза пондерисане према важности. Осам одвојених оцена покрива верност сцене, физичку уверљивост, стил и боју, реализам, просторни распоред, пропорције и размеру, осветљење и материјале, као и потпуност.

Коначна оцена задатка половину тежине даје бинарној рубрици, а половину просечној оцени визуелних димензија. Непредати или неуспешни радови добијају нулу у збирном резултату, уместо да нестану из његовог имениоца. Овај сајт пројекта објављује оцене за 13 модела, али то су резултати аутора на задацима, поставкама генерисања и аутоматским оцењивачима које су сами изабрали. Сајт приказује и 181 преглед сцене из седам модела на 26 задатака као одабране примере, уз изричито упозорење да нису насумичан узорак квалитета.

Тест зато даје више дијагностичких детаља од једне оцене преференције слике: резултат може да не испуни структурни захтев, визуелни захтев или ширу димензију квалитета. Сам по себи не доказује да 3D излаз модела испуњава стандарде измењивости, извозни процес или потребе за поузданошћу одређеног студија. Објављено поређење људских преференција мери слагање са аутоматским оцењивачем на одабраним паровима; то није потврда употребљивости у каснијим фазама.

Шта је потребно за поновљиво покретање

Јавна упутства за припрему нових предаја наводе Linux са Python 3.10 или новијим и Blender 4.2.10. Оцењивање додаје Node.js 22.17.0, ffmpeg и ffprobe, Claude Code 2.1.220 за рендеровање и преглед сцене, као и подешену крајњу тачку модела са визуелним могућностима. Спремиште пружа bw verify за проверу ресурса скупа података, bw evaluate --dry-run за преглед планираног покретања и оцењивач који може да настави прекинути рад и записује доказе по задатку и сажете извештајне датотеке. То су документоване команде, а не кораци које је BIG CHANGE тестирао.

Код је под MIT лиценцом. За оцењивање су и даље потребни наведени софтвер, одговарајући рачунарски ресурси и приступни подаци за подешене услуге модела; документација не утврђује фиксну цену по покретању. При поређењу агената треба задржати исти скуп задатака, верзију Blender-а, конфигурацију оцењивача и алијасе модела, а затим прегледати и збирни резултат и неуспешне задатке. Уверљива слика и висок просек одговарају на ужа питања од тога да ли тим може да измени и испоручи стварну сцену.

Извори и додатно читање