Ang BlenderWorld benchmark ng QwenLM ay humihingi sa mga AI agent ng nae-edit na 3D scene sa Blender. Nagsisimula ang 223 gawain nito sa nakasulat na tagubilin, larawang sanggunian o video na sanggunian. Nakasentro ang isusumite sa proyektong nasa orihinal na format na final.blend, kasama ang anumang hiniling na larawan, video at texture file. Dahil dito, masusuri ng evaluator ang mismong scene pati ang mga larawang ginawa mula rito.

Inilabas noong Oktubre 14 at na-update kasabay ng rebisyon ng papel-pananaliksik noong Oktubre 16, nagbibigay ang pampublikong repository ng datos ng gawain, tuntunin sa pagsusumite at kasangkapang nagpapatakbo ng pagsusuri. Para sa mga artist at team na sumusubok ng agent sa Blender, ang kapaki-pakinabang na pag-unlad ay paraan upang suriin sa loob ng project file kung natutugunan ng output ang tagubilin. Sinuri ng BIG CHANGE ang dokumentasyon at pahina ng proyekto; hindi namin pinatakbo ang benchmark o personal na siniyasat ang mga isinumiteng scene.

Ang malaking pagbabago

  • Ano ang nagbago: Pinagsasama ng BlenderWorld ang 223 kahilingan sa paglikha at 2,651 binary na pamantayang nakatalaga sa bawat gawain, kasama ang pampublikong evaluator para sa mga isinumiteng proyektong nasa orihinal na format ng Blender.
  • Bakit mahalaga: Maaaring itago ng isang rendered image ang nawawalang object, maling sukat o proyektong hindi magamit. Sinusuri ng benchmark ang mga hinihingi sa pamamagitan ng pagsisiyasat ng scene at biswal na ebidensiya, kasabay ng hiwalay na marka sa biswal na kalidad.
  • Ano ang dapat bantayan: Maipapakita ng mga independiyenteng pagpapatakbo gamit ang inilathalang gawain, code at setting ng modelo kung gaano nauulit ang mga marka ng mga may-akda. Kailangan pa ring suriin mismo ng team ang mga na-save na proyekto bago gamitin sa produksiyon.

Mula sa tagubilin tungo sa nae-edit na file

Ang dokumentasyon ng dataset ay nagtatakda ng 78 gawaing teksto, 130 gawaing larawan-at-teksto at 15 gawaing video-at-teksto. Limampu’t siyam din ang may kalakip na espesipikasyong maaaring magtakda ng sukat, materyal o hinihingi sa camera. Bawat gawain ay may ID, kahilingan at anumang sanggunian; hiwalay na nakaimbak ang rubrik nito. Hindi ipinapakita sa gumagawang agent ang rubrik sa pagsusuri habang nililikha ang scene.

Ang gabay sa mabilis na pagsisimula ng repository ay nagdodokumento ng bw prepare para ihanda ang tagubilin, mga sanggunian at kalakip ng gawain. Pagkatapos, gumagawa ang agent sa Blender at sine-save ang final.blend, kasama ang mga export at dependency na hinihingi ng tagubilin. Ang bw pack-submission ay gumagawa ng isang ZIP bawat gawain. Binubuksan ng evaluator ang Blender file bilang pangunahing proyekto; hindi nito itinuturing na pamalit ang isang pinakinis na huling render.

Mahalaga ang pagkakaibang ito sa pagsuri ng AI 3D assistant. Maaaring ipakita ng isang hindi gumagalaw na larawan ang nilalayong hitsura, samantalang dala ng nae-edit na scene ang geometry, materyal, layout at animation na maaaring kailanganing siyasatin o baguhin ng ibang artist. Ibinibigay ng format ng BlenderWorld ang dalawang uri ng ebidensiya, pero hindi pinatutunayan ng valid na file lamang na handa nang gamitin ang bawat bahagi ng propesyonal na workflow.

Paano gumagana ang pagmamarka

Ayon sa protokol ng pagsusuri, pumipili ang rendering agent ng walong view mula sa isinumiteng scene. Hinahawakan ng pagsisiyasat ng scene ang mga pamantayang nangangailangan ng pag-access sa proyekto; hinahawakan ng biswal na tagasuri ang mga biswal na pamantayan gamit ang render at iba pang biswal na ebidensiya. Bawat gawain ay may binary na kondisyon ng pagpasa na may bigat ayon sa kahalagahan. Walong hiwalay na marka ang sumasaklaw sa katapatan ng scene, pisikal na pagiging kapani-paniwala, estilo at kulay, realismo, ayos sa espasyo, proporsiyon at sukat, ilaw at materyal, at pagiging kumpleto.

Kalahati ng bigat ng huling marka ng gawain ay para sa binary na rubrik at kalahati sa mean ng mga marka sa mga biswal na dimensiyon. Ang mga hindi naisumite o nabigong submission ay binibigyan ng sero sa kabuuang resulta, sa halip na alisin sa denominator nito. Ang site ng proyekto ay nag-uulat ng marka para sa 13 modelo, pero resulta iyon ng mga may-akda gamit ang sarili nilang piniling gawain, setup ng paglikha at awtomatikong tagasuri. Ipinapakita rin ng site ang 181 preview ng scene mula sa pitong modelo sa 26 gawain bilang mga piniling halimbawa, at malinaw na nagbababala na hindi iyon random na sample ng kalidad.

Kaya mas detalyado ang pagsusuri ng benchmark kaysa isang marka lamang ng kagustuhan sa larawan: maaaring mabigo ang resulta sa hinihinging estruktura, biswal na pangangailangan o mas malawak na dimensiyon ng kalidad. Hindi nito kayang patunayan nang mag-isa na natutugunan ng 3D output ng isang modelo ang pamantayan sa kakayahang i-edit, export pipeline o pangangailangan sa pagiging maaasahan ng isang partikular na studio. Sinusuri ng inilathalang paghahambing ng kagustuhan ng tao ang pagkakatugma sa awtomatikong tagasuri sa mga piniling pares; hindi ito sertipikasyon ng pagiging magagamit sa susunod na mga hakbang.

Ano ang kailangan para sa nauulit na pagpapatakbo

Tinutukoy ng pampublikong mga tagubilin ang Linux na may Python 3.10 o mas bago at Blender 4.2.10 sa paghahanda ng bagong isusumite. Dagdag sa pagsusuri ang Node.js 22.17.0, ffmpeg at ffprobe, Claude Code 2.1.220 para sa rendering at pagsisiyasat ng scene, at naka-configure na endpoint ng modelong may kakayahang biswal. Nagbibigay ang repository ng bw verify para tingnan ang resources ng dataset, bw evaluate --dry-run para siyasatin ang planong pagpapatakbo, at evaluator na maaaring ituloy matapos huminto at sumusulat ng ebidensiya bawat gawain at mga summary file. Mga dokumentadong command ang mga ito, hindi mga hakbang na sinubukan ng BIG CHANGE.

Nasa lisensiyang MIT ang code. Kailangan pa rin sa pagpapatakbo ng pagsusuri ang nakalistang software, angkop na computing resources at mga credential para sa naka-configure na serbisyo ng modelo; hindi nagtatakda ang dokumentasyon ng nakapirming presyo bawat pagpapatakbo. Dapat panatilihing pareho ng nagkukumpara ng mga agent ang set ng gawain, bersiyon ng Blender, configuration ng evaluator at mga alias ng modelo, saka siyasatin ang kabuuang resulta at mga nabigong gawain. Mas makitid na mga tanong ang sinasagot ng kapani-paniwalang larawan at mataas na mean score kaysa kung kayang baguhin at ihatid ng team ang mismong scene.

Mga sanggunian at karagdagang babasahin