QwenLM రూపొందించిన BlenderWorld బెంచ్‌మార్క్, Blenderలో సవరించగల 3D దృశ్యాలను ఇవ్వాలని AI ఏజెంట్లను కోరుతుంది. దాని 223 పనులు వచన సూచనలు, సూచన చిత్రాలు లేదా సూచన వీడియోలతో మొదలవుతాయి. సమర్పణలో ప్రధానమైనది అసలు Blender ఫార్మాట్‌లోని final.blend ప్రాజెక్టు; దానితోపాటు కోరిన చిత్రాలు, వీడియోలు, టెక్స్చర్ ఫైళ్లు ఇవ్వాలి. దీని వల్ల మూల్యాంకనకర్త దృశ్యాన్నీ, దానినుంచి రూపొందించిన చిత్రాలనూ పరిశీలించవచ్చు.

అక్టోబర్ 14న విడుదలై, అక్టోబర్ 16న పరిశోధన పత్రం సవరణతో నవీకరించిన పబ్లిక్ రిపోజిటరీ పని డేటా, సమర్పణ నియమాలు, మూల్యాంకనాన్ని నడిపే సాధనాన్ని అందిస్తుంది. Blender పనుల్లో ఏజెంట్‌ను ప్రయత్నించే కళాకారులు, బృందాలకు ఉపయోగకరమైన పురోగతి ఏమిటంటే, ప్రాజెక్టు ఫైలు లోపలే అవుట్‌పుట్ సూచనలను నెరవేరుస్తుందా అని పరీక్షించగలగడం. BIG CHANGE పత్రాలు, ప్రాజెక్టు పేజీని సమీక్షించింది; మేము బెంచ్‌మార్క్‌ను నడపలేదు, సమర్పించిన దృశ్యాలను స్వయంగా పరిశీలించలేదు.

పెద్ద మార్పు

  • ఏం మారింది: BlenderWorld, 223 సృజనాత్మక అభ్యర్థనలు, పనికి ప్రత్యేకమైన 2,651 ద్విమూల్య ప్రమాణాలను Blender అసలు ఫార్మాట్‌లోని సమర్పణల కోసం పబ్లిక్ మూల్యాంకన సాధనంతో కలిపి అందిస్తుంది.
  • ఎందుకు ముఖ్యం: రెండర్ చేసిన చిత్రం లేని ఆబ్జెక్టును, తప్పు కొలతలను లేదా ఉపయోగించలేని ప్రాజెక్టును దాచవచ్చు. బెంచ్‌మార్క్ దృశ్య పరిశీలన, దృశ్య ఆధారాలతో అవసరాలను తనిఖీ చేస్తుంది; వేరుగా దృశ్య నాణ్యత స్కోరు కూడా ఇస్తుంది.
  • దేనిపై దృష్టి పెట్టాలి: ప్రచురించిన పనులు, కోడ్, మోడల్ సెట్టింగులతో స్వతంత్రంగా నడిపితే రచయితల స్కోర్లను ఎంతవరకు పునరుత్పత్తి చేయవచ్చో తెలుస్తుంది. ప్రొడక్షన్ పనుల్లో వాడేముందు సేవ్ చేసిన ప్రాజెక్టులను బృందం స్వయంగా సమీక్షించడం ఇంకా అవసరం.

సూచనల నుంచి సవరించగల ఫైలు వరకు

ఈ డేటాసెట్ పత్రం 78 వచన పనులు, 130 చిత్రం-వచనం పనులు, 15 వీడియో-వచనం పనులను నిర్వచిస్తుంది. యాభై తొమ్మిది పనులకు కొలతలు, మెటీరియల్స్ లేదా కెమెరా అవసరాలు నిర్దేశించే స్పెసిఫికేషన్ జోడింపులు కూడా ఉన్నాయి. ప్రతి పనికి ID, అభ్యర్థన, అవసరమైన సూచన వనరులు ఉంటాయి; మూల్యాంకన ప్రమాణాల పట్టికను వేరుగా నిల్వ చేస్తారు. దృశ్యాన్ని రూపొందించేటప్పుడు జనరేషన్ ఏజెంట్‌కు మూల్యాంకన పట్టికను చూపరు.

ఈ రిపోజిటరీ త్వరిత ప్రారంభ మార్గదర్శి పని సూచనలు, సూచన వనరులు, జోడింపులను సిద్ధం చేయడానికి bw prepare వాడాలని వివరిస్తుంది. ఆపై ఏజెంట్ Blenderలో పని చేసి final.blend ప్రాజెక్టుతోపాటు సూచనల్లో కోరిన ఎగుమతి ఫైళ్లు, ఆధార వనరులను సేవ్ చేస్తుంది. bw pack-submission ప్రతి పనికి ఒక ZIP తయారు చేస్తుంది. మూల్యాంకన సాధనం Blender ఫైలును ప్రధాన ప్రాజెక్టుగా తెరుస్తుంది; మెరుగుపరిచిన తుది రెండర్‌ను ఆ ఫైలుకు ప్రత్యామ్నాయంగా భావించదు.

AI 3D సహాయకుడిని అంచనా వేయడంలో ఇది ఉపయోగకరమైన తేడా. నిశ్చల చిత్రం ఉద్దేశించిన రూపాన్ని తెలియజేయవచ్చు; సవరించగల దృశ్యంలో మరో కళాకారుడు పరిశీలించాల్సి లేదా సవరించాల్సి రావచ్చే జ్యామితి, మెటీరియల్స్, అమరిక, యానిమేషన్ ఉంటాయి. BlenderWorld ఫార్మాట్ రెండు రకాల ఆధారాలనూ అందిస్తుంది. అయితే చెల్లుబాటు అయ్యే ఫైలు ఒక్కటే వృత్తిపరమైన ప్రక్రియలో ప్రతి భాగమూ వాడేందుకు సిద్ధంగా ఉందని నిరూపించదు.

స్కోర్లు ఎలా ఇస్తారు

ఈ మూల్యాంకన ప్రోటోకాల్ ప్రకారం, రెండరింగ్ ఏజెంట్ సమర్పించిన దృశ్యం నుంచి ఎనిమిది వీక్షణలను ఎంచుకుంటుంది. ప్రాజెక్టుకు ప్రాప్తి అవసరమైన ప్రమాణాలను దృశ్య పరిశీలన నిర్వహిస్తుంది; విజన్ మూల్యాంకనకర్త రెండర్లు, ఇతర దృశ్య ఆధారాలతో దృశ్య ప్రమాణాలను పరిశీలిస్తుంది. ప్రతి పనిలో ప్రాముఖ్యత ఆధారంగా బరువు కేటాయించిన ద్విమూల్య ఉత్తీర్ణ షరతులు ఉంటాయి. ఎనిమిది వేర్వేరు రేటింగ్‌లు దృశ్య సరిపోలిక, భౌతిక సాధ్యత, శైలి-రంగు, వాస్తవికత, ప్రాదేశిక అమరిక, నిష్పత్తి-పరిమాణం, వెలుతురు-మెటీరియల్స్, సంపూర్ణతను కొలుస్తాయి.

తుది పని స్కోరులో సగం బరువు ద్విమూల్య ప్రమాణాల పట్టికకు, సగం దృశ్య అంశాల సగటు రేటింగ్‌కు ఇస్తారు. లేని లేదా విఫలమైన సమర్పణలు మొత్తం లెక్కలో సున్నా పొందుతాయి; వాటిని హారం నుంచి తొలగించరు. ఈ ప్రాజెక్టు వెబ్‌సైట్ 13 మోడళ్ల స్కోర్లను నివేదిస్తుంది. అయితే అవి రచయితలు ఎంచుకున్న పనులు, జనరేషన్ సెట్టింగులు, స్వయంచాలక మూల్యాంకనకర్తలతో పొందిన వారి ఫలితాలు. సైట్ ఏడు మోడళ్లు 26 పనుల్లో రూపొందించిన 181 దృశ్య ప్రివ్యూలను ఎంపిక చేసిన ఉదాహరణలుగా కూడా చూపుతుంది; ఇవి నాణ్యతకు యాదృచ్ఛిక నమూనా కావని స్పష్టంగా హెచ్చరిస్తుంది.

అందువల్ల ఈ బెంచ్‌మార్క్ చిత్రం పట్ల అభిరుచిని తెలిపే ఒక్క స్కోరు కంటే ఎక్కువ నిర్ధారణ వివరాలు ఇస్తుంది: ఫలితం నిర్మాణ అవసరాన్ని, దృశ్య అవసరాన్ని లేదా విస్తృత నాణ్యత అంశాన్ని నెరవేర్చకపోవచ్చు. కానీ మోడల్ రూపొందించిన 3D అవుట్‌పుట్ నిర్దిష్ట స్టూడియో సవరించే వీలుకు సంబంధించిన ప్రమాణాలు, ఎగుమతి ప్రక్రియ లేదా నమ్మకత్వ అవసరాలను నెరవేరుస్తుందని ఇది ఒక్కటే నిరూపించదు. ప్రచురించిన మానవుల అభిరుచి పోలిక, ఎంచుకున్న జంటల్లో స్వయంచాలక మూల్యాంకనకర్తతో ఏకీభావాన్ని అంచనా వేస్తుంది; తదుపరి వినియోగానికి ధృవపత్రం కాదు.

పునరుత్పత్తి చేయగల పరీక్షకు అవసరమైనవి

కొత్త సమర్పణలు సిద్ధం చేయడానికి పబ్లిక్ సూచనలు Linux, Python 3.10 లేదా తదుపరి వెర్షన్, Blender 4.2.10ను నిర్దేశిస్తాయి. మూల్యాంకనానికి అదనంగా Node.js 22.17.0, ffmpeg, ffprobe, రెండరింగ్, దృశ్య పరిశీలన కోసం Claude Code 2.1.220, కాన్ఫిగర్ చేసిన దృశ్య సామర్థ్యమున్న మోడల్ ఎండ్‌పాయింట్ అవసరం. రిపోజిటరీ డేటాసెట్ వనరులను తనిఖీ చేయడానికి bw verify, ప్రణాళికలోని పరీక్షను పరిశీలించడానికి bw evaluate --dry-run, ప్రతి పనికి ఆధారాలు, సారాంశ ఫైళ్లు రాస్తూ నిలిచిన చోటు నుంచి తిరిగి ప్రారంభించగల మూల్యాంకన సాధనాన్ని అందిస్తుంది. ఇవి పత్రాల్లోని కమాండ్లు; BIG CHANGE పరీక్షించిన దశలు కావు.

కోడ్ MIT లైసెన్స్ కింద ఉంది. మూల్యాంకనం నడపడానికి పేర్కొన్న సాఫ్ట్‌వేర్, తగిన గణన వనరులు, కాన్ఫిగర్ చేసిన మోడల్ సేవలకు ప్రాప్యత వివరాలు ఇంకా అవసరం; ప్రతి పరీక్షకు స్థిర ధరను పత్రాలు నిర్ధారించవు. ఏజెంట్లను పోల్చే పాఠకుడు పని సమితి, Blender వెర్షన్, మూల్యాంకన సాధనం సెట్టింగులు, మోడల్ మారుపేర్లు స్థిరంగా ఉంచి, మొత్తం ఫలితాలనూ విఫలమైన పనులనూ పరిశీలించాలి. నమ్మదగినట్లు కనిపించే చిత్రం, అధిక సగటు స్కోరు సమాధానమిచ్చే ప్రశ్నలు, బృందం అసలు దృశ్యాన్ని సవరించి అందించగలదా అనే ప్రశ్నకంటే పరిమితమైనవి.

ఆధారాలు, మరింత చదవడానికి