QwenLM-ov test BlenderWorld traži od AI agenata da isporuče izmenjive 3D scene u Blenderu. Njegovih 223 zadatka počinju tekstualnim uputstvima, referentnim slikama ili video-snimcima. Predaja se zasniva na izvornom projektu final.blend, uz sve tražene slike, video-snimke i datoteke tekstura. Tako ocenjivač može da pregleda i scenu i slike nastale iz nje.

Javno spremište, objavljeno 14. oktobra i ažurirano revizijom naučnog rada 16. oktobra, pruža podatke o zadacima, pravila predaje i alat za pokretanje ocenjivanja. Za umetnike i timove koji isprobavaju agenta na radu u Blenderu koristan napredak je način da se u samoj projektnoj datoteci proveri da li rezultat ispunjava zadate zahteve. BIG CHANGE je pregledao dokumentaciju i stranicu projekta; nismo pokretali test niti sami pregledali predate scene.

Velika promena

  • Šta se promenilo: BlenderWorld objedinjuje 223 kreativna zahteva i 2.651 binarni kriterijum specifičan za zadatak, uz javni alat za ocenjivanje za izvorne Blender projekte.
  • Zašto je važno: Renderovana slika može da sakrije objekat koji nedostaje, pogrešne dimenzije ili neupotrebljiv projekat. Test proverava zahteve pregledom scene i vizuelnim dokazima, uz odvojenu ocenu vizuelnog kvaliteta.
  • Šta pratiti: Nezavisna pokretanja uz objavljene zadatke, kod i podešavanja modela pokazala bi koliko su rezultati autora ponovljivi. Tim i dalje mora sam da pregleda sačuvane projekte pre upotrebe u produkciji.

Od zahteva do izmenjive datoteke

Ova dokumentacija skupa podataka definiše 78 tekstualnih zadataka, 130 zadataka sa slikom i tekstom i 15 sa videom i tekstom. Pedeset devet zadataka ima i priloge sa specifikacijama, koji mogu da odrede dimenzije, materijale ili zahteve za kameru. Svaki zadatak ima ID, zahtev i eventualne reference; rubrika za ocenjivanje čuva se odvojeno. Agent koji generiše scenu ne vidi rubriku ocenjivanja dok je pravi.

Ovaj vodič za brzi početak u spremištu opisuje bw prepare za pripremu zahteva, referenci i priloga zadatka. Agent zatim radi u Blenderu i čuva final.blend, zajedno sa izvoznim datotekama i zavisnostima koje zahtev nalaže. bw pack-submission pravi jedan ZIP po zadatku. Ocenjivač otvara Blender datoteku kao glavni projekat; doterani završni render ne smatra zamenom za nju.

Ovo je korisna razlika pri proceni AI pomoćnika za 3D. Statična slika može da prenese željeni izgled, dok izmenjiva scena sadrži geometriju, materijale, raspored i animaciju koje bi drugi umetnik morao da pregleda ili izmeni. Format BlenderWorld pruža obe vrste dokaza, mada sama ispravna datoteka ne pokazuje da je svaki deo profesionalnog radnog procesa spreman za upotrebu.

Kako funkcioniše ocenjivanje

Prema protokolu ocenjivanja, agent za renderovanje bira osam pogleda iz predate scene. Pregled scene obrađuje kriterijume koji zahtevaju pristup projektu; vizuelni ocenjivač obrađuje vizuelne kriterijume uz rendere i druge vizuelne dokaze. Svaki zadatak ima binarne uslove prolaza ponderisane prema važnosti. Osam odvojenih ocena pokriva vernost scene, fizičku uverljivost, stil i boju, realizam, prostorni raspored, proporcije i razmeru, osvetljenje i materijale, kao i potpunost.

Konačna ocena zadatka polovinu težine daje binarnoj rubrici, a polovinu prosečnoj oceni vizuelnih dimenzija. Nepredati ili neuspešni radovi dobijaju nulu u zbirnom rezultatu, umesto da nestanu iz njegovog imenioca. Ovaj sajt projekta objavljuje ocene za 13 modela, ali to su rezultati autora na zadacima, postavkama generisanja i automatskim ocenjivačima koje su sami izabrali. Sajt prikazuje i 181 pregled scene iz sedam modela na 26 zadataka kao odabrane primere, uz izričito upozorenje da nisu nasumičan uzorak kvaliteta.

Test zato daje više dijagnostičkih detalja od jedne ocene preferencije slike: rezultat može da ne ispuni strukturni zahtev, vizuelni zahtev ili širu dimenziju kvaliteta. Sam po sebi ne dokazuje da 3D izlaz modela ispunjava standarde izmenjivosti, izvozni proces ili potrebe za pouzdanošću određenog studija. Objavljeno poređenje ljudskih preferencija meri slaganje sa automatskim ocenjivačem na odabranim parovima; to nije potvrda upotrebljivosti u kasnijim fazama.

Šta je potrebno za ponovljivo pokretanje

Javna uputstva za pripremu novih predaja navode Linux sa Python 3.10 ili novijim i Blender 4.2.10. Ocenjivanje dodaje Node.js 22.17.0, ffmpeg i ffprobe, Claude Code 2.1.220 za renderovanje i pregled scene, kao i podešenu krajnju tačku modela sa vizuelnim mogućnostima. Spremište pruža bw verify za proveru resursa skupa podataka, bw evaluate --dry-run za pregled planiranog pokretanja i ocenjivač koji može da nastavi prekinuti rad i zapisuje dokaze po zadatku i sažete izveštajne datoteke. To su dokumentovane komande, a ne koraci koje je BIG CHANGE testirao.

Kod je pod MIT licencom. Za ocenjivanje su i dalje potrebni navedeni softver, odgovarajući računarski resursi i pristupni podaci za podešene usluge modela; dokumentacija ne utvrđuje fiksnu cenu po pokretanju. Pri poređenju agenata treba zadržati isti skup zadataka, verziju Blendera, konfiguraciju ocenjivača i alijase modela, a zatim pregledati i zbirni rezultat i neuspešne zadatke. Uverljiva slika i visok prosek odgovaraju na uža pitanja od toga da li tim može da izmeni i isporuči stvarnu scenu.

Izvori i dodatno čitanje