QwenLMのBlenderWorldベンチマークは、Blenderで編集可能な3DシーンをAIエージェントに提出させる。223の作業は、テキストの指示、参照画像、参照動画から始まる。提出の中心となるのはネイティブ形式の final.blend プロジェクトと、指定された画像、動画、テクスチャファイルだ。これにより評価者は、生成された画像だけでなくシーン自体も調べられる。
10月14日に公開され、10月16日の論文改訂に合わせて更新された公開リポジトリは、作業データ、提出ルール、評価実行ツールを提供する。Blender作業でエージェントを試すアーティストやチームにとって有用な前進は、プロジェクトファイルの中で出力が指示を満たすかを問えることだ。BIG CHANGEは文書とプロジェクトページを確認したが、ベンチマークの実行や提出シーンの独自検査は行っていない。
大きな変化
- 何が変わったか： BlenderWorldは、223の制作依頼と作業別の二値基準2,651項目を、Blenderネイティブ形式の提出物用の公開評価ツールとともに提供する。
- なぜ重要か： レンダリング画像は、欠けたオブジェクト、誤った寸法、使えないプロジェクトを隠すことがある。ベンチマークはシーン検査と視覚的証拠で要件を確認し、別途、視覚的品質のスコアも出す。
- 注目点： 公開された作業、コード、モデル設定を使った独立した実行は、著者のスコアの再現性を示すことになる。実制作に使う前には、チーム自身による保存済みプロジェクトの確認が引き続き必要だ。
指示から編集可能なファイルへ
このデータセット文書は、テキスト作業78件、画像とテキストの作業130件、動画とテキストの作業15件を定義する。59件には、寸法、マテリアル、カメラ要件を指定できる仕様の添付資料もある。各作業にはID、依頼、必要な参照資料があり、評価基準は別に保存される。生成エージェントはシーンの制作中、評価基準を見せられない。
このリポジトリのクイックスタートは、作業の指示、参照資料、添付資料を準備する bw prepare コマンドを説明する。その後、エージェントがBlenderで作業し、final.blend と、指示で求められた書き出しファイルや依存ファイルを保存する。bw pack-submission は作業ごとにZIPを1つ作る。評価ツールはBlenderファイルを主要プロジェクトとして開き、仕上げた最終レンダリングをそのファイルの代わりにはしない。
AIの3Dアシスタントを評価するとき、この区別は有用だ。静止画は意図する外観を伝えられる一方、編集可能なシーンには、別のアーティストが検査や修正を必要とするかもしれないジオメトリ、マテリアル、配置、アニメーションが含まれる。BlenderWorldの形式は両方の証拠を提供するが、有効なファイルだけで専門的な制作工程のすべてが利用可能だと証明されるわけではない。
採点の仕組み
この評価プロトコルによると、レンダリングエージェントは提出シーンから八つのビューを選ぶ。プロジェクトへのアクセスが必要な基準はシーン検査が扱い、視覚評価者はレンダリングやその他の視覚的証拠で視覚基準を扱う。各作業には、重要度で重み付けされた二値の合格条件がある。別々の八つの評点は、シーンの忠実度、物理的な妥当性、スタイルと色、リアリズム、空間配置、比率とスケール、照明とマテリアル、完全性を対象とする。
最終作業スコアは、二値の評価基準に半分、視覚的な各側面の評点の平均に半分の重みを置く。未提出や失敗した提出物は、集計の分母から消えるのではなく、集計上ゼロ点になる。このプロジェクトサイトは13モデルのスコアを報告するが、著者が選んだ作業、生成構成、自動評価者による著者自身の結果だ。サイトは、七つのモデルが26の作業で作った181のシーンプレビューも厳選例として掲載し、品質を示す無作為標本ではないと明記している。
そのため、このベンチマークは単一の画像選好スコアより詳しい診断情報を提供する。結果は、構造上の要件、視覚上の要件、より広い品質の側面を満たさないことがある。ただし、それだけでモデルの3D出力が特定のスタジオの編集可能性基準、書き出し工程、信頼性の要件を満たすとは証明できない。公開された人間の選好比較は、選んだペアで自動評価者とどの程度一致するかを見るもので、後工程での有用性を認証するものではない。
再現可能な実行に必要なもの
新たな提出物を用意するための公開手順は、Linux、Python 3.10以降、Blender 4.2.10を指定する。評価には追加でNode.js 22.17.0、ffmpeg と ffprobe、レンダリングとシーン検査用のClaude Code 2.1.220、設定済みの視覚対応モデルのエンドポイントが必要になる。リポジトリは、データセットのリソースを確認する bw verify、予定する実行を調べる bw evaluate --dry-run、作業別の証拠と要約ファイルを書き出し、中断後に再開できる評価ツールを提供する。これらは文書に記載されたコマンドであり、BIG CHANGEが試した手順ではない。
コードはMITライセンスだ。評価の実行には、指定されたソフトウェア、適切な計算資源、設定したモデルサービスの認証情報が必要であり、文書は実行ごとの固定料金を示していない。エージェントを比較するなら、作業集合、Blenderのバージョン、評価ツールの設定、モデルのエイリアスを固定し、集計と失敗した作業の両方を見るべきだ。もっともらしい画像と高い平均スコアが答えるのは、チームが実際のシーンを修正し納品できるかどうかより狭い問いである。
出典・参考資料
- BlenderWorldリポジトリとクイックスタート。QwenLM、固定コミット
9c911d848a30ff5e169a4af7dbe239ceef0299cc、2026年10月16日。作業数、提出ファイル、コマンド、採点式を説明する。 - BlenderWorldデータセット形式。同じ固定リビジョン。作業レコード、参照資料、添付資料、評価基準のフィールドを定義する。
- 評価プロトコルと実行環境。同じ固定リビジョン。環境、証拠の振り分け、失敗処理、採点を指定する。
- BlenderWorldプロジェクト・結果サイト。著者の現行プロジェクトページ。2026年10月17日確認。ベンチマークを説明し、掲載シーンは厳選例と明記している。スコアは独立した再現結果ではない。
