QwenLM의 BlenderWorld 벤치마크는 AI 에이전트에 Blender에서 편집 가능한 3D 장면을 제출하도록 요구한다. 223개 작업은 텍스트 지시문, 참조 이미지 또는 참조 영상에서 시작한다. 제출물의 중심은 Blender 원본 final.blend 프로젝트이며, 요청된 이미지·영상·텍스처 파일도 함께 포함한다. 이를 통해 평가자는 만들어진 이미지뿐 아니라 장면 자체도 살펴볼 수 있다.

10월 14일 공개되고 10월 16일 논문 수정과 함께 업데이트된 공개 저장소는 작업 데이터, 제출 규칙, 평가 실행 도구를 제공한다. Blender 작업에 에이전트를 시험하는 아티스트와 팀에 유용한 진전은 프로젝트 파일 안에서 결과가 지시문을 충족하는지 확인할 방법이 생겼다는 점이다. BIG CHANGE는 문서와 프로젝트 페이지를 검토했지만 벤치마크를 실행하거나 제출된 장면을 직접 검사하지는 않았다.

큰 변화

  • 무엇이 달라졌나: BlenderWorld는 제작 요청 223개와 작업별 이진 기준 2,651개를 Blender 원본 제출물용 공개 평가 도구와 함께 제공한다.
  • 왜 중요한가: 렌더링된 이미지는 빠진 오브젝트, 잘못된 치수, 사용할 수 없는 프로젝트를 숨길 수 있다. 벤치마크는 장면 검사와 시각 증거로 요구사항을 확인하며, 별도의 시각적 품질 점수도 제공한다.
  • 지켜볼 점: 공개된 작업·코드·모델 설정을 사용한 독립 실행은 저자들의 점수가 얼마나 재현 가능한지 보여 줄 것이다. 실제 제작에 쓰기 전에는 팀이 저장된 프로젝트를 직접 검토해야 한다.

지시문에서 편집 가능한 파일까지

이 데이터셋 문서는 텍스트 작업 78개, 이미지와 텍스트 작업 130개, 영상과 텍스트 작업 15개를 정의한다. 59개 작업에는 치수·재질·카메라 요구사항을 지정할 수 있는 사양 첨부파일도 있다. 각 작업에는 ID, 요청, 필요한 참조 자료가 있고 평가 기준표는 별도로 저장된다. 장면을 생성하는 에이전트는 작업 중에 평가 기준표를 보지 못한다.

이 저장소 빠른 시작 안내는 작업 지시문·참조 자료·첨부파일을 준비하는 bw prepare 명령을 설명한다. 이후 에이전트가 Blender에서 작업하고 final.blend 파일과 함께 지시문에 명시된 내보내기 파일과 종속 자료를 저장한다. bw pack-submission 명령은 작업마다 ZIP 하나를 만든다. 평가기는 Blender 파일을 주 프로젝트로 열며, 다듬어진 최종 렌더를 그 파일의 대체물로 취급하지 않는다.

이는 AI 3D 보조 도구를 평가할 때 유용한 구분이다. 정지 이미지는 의도한 모습을 전달할 수 있지만, 편집 가능한 장면에는 다른 아티스트의 검사나 수정이 필요할 수 있는 지오메트리·재질·배치·애니메이션이 담겨 있다. BlenderWorld 형식은 두 종류의 증거를 모두 제공하지만, 유효한 파일 하나만으로 전문 제작 흐름의 모든 부분을 바로 사용할 수 있다고 입증되지는 않는다.

점수는 어떻게 매기나

이 평가 프로토콜에 따르면 렌더링 에이전트는 제출된 장면에서 여덟 개의 뷰를 선택한다. 프로젝트 접근이 필요한 기준은 장면 검사가 처리하고, 시각 평가자는 렌더와 다른 시각 증거로 시각 기준을 평가한다. 각 작업에는 중요도에 따라 가중치를 둔 이진 통과 조건이 있다. 여덟 개의 별도 평점은 장면 충실도, 물리적 타당성, 스타일과 색상, 사실성, 공간 배치, 비례와 크기, 조명과 재질, 완성도를 다룬다.

작업의 최종 점수는 이진 평가 기준에 절반의 가중치를, 시각적 차원별 평점의 평균에 나머지 절반을 부여한다. 누락되거나 실패한 제출물은 집계 분모에서 사라지는 대신 0점을 받는다. 이 프로젝트 사이트는 13개 모델의 점수를 보고하지만, 이는 저자들이 선택한 작업·생성 설정·자동 평가자로 얻은 결과다. 사이트는 26개 작업에서 일곱 모델이 만든 장면 미리보기 181개도 선정 사례로 제시하며, 품질을 보여 주는 무작위 표본이 아니라고 명확히 경고한다.

따라서 이 벤치마크는 단일 이미지 선호 점수보다 더 자세한 진단 정보를 제공한다. 결과는 구조적 요구사항, 시각적 요구사항 또는 더 넓은 품질 차원을 충족하지 못할 수 있다. 다만 이것만으로 모델의 3D 출력이 특정 스튜디오의 편집 가능성 기준, 내보내기 파이프라인, 신뢰성 요구를 충족한다고 입증할 수는 없다. 공개된 인간 선호 비교는 선택된 쌍에서 자동 평가자와 얼마나 일치하는지를 평가하며, 후속 활용 가능성을 인증하는 것은 아니다.

재현 가능한 실행에 필요한 것

새 제출물을 준비하기 위한 공개 지침은 Linux, Python 3.10 이상, Blender 4.2.10을 명시한다. 평가에는 추가로 Node.js 22.17.0, ffmpeg와 ffprobe, 렌더링과 장면 검사용 Claude Code 2.1.220, 설정된 시각 처리 모델 엔드포인트가 필요하다. 저장소는 데이터셋 자원을 확인하는 bw verify, 계획한 실행을 살펴보는 bw evaluate --dry-run, 작업별 증거와 요약 파일을 작성하며 중단 후 재개할 수 있는 평가기를 제공한다. 이는 문서에 적힌 명령이지 BIG CHANGE가 시험한 단계가 아니다.

코드는 MIT 라이선스다. 평가를 실행하려면 여전히 명시된 소프트웨어, 적절한 연산 자원, 설정된 모델 서비스의 인증 정보가 필요하다. 문서는 실행당 고정 비용을 제시하지 않는다. 에이전트를 비교할 때는 작업 집합, Blender 버전, 평가기 설정, 모델 별칭을 고정한 뒤 집계 결과와 실패한 작업을 모두 살펴야 한다. 그럴듯한 이미지와 높은 평균 점수는 팀이 실제 장면을 수정해 납품할 수 있느냐보다 좁은 질문에 답한다.

출처 및 더 읽을거리