QwenLM 的 BlenderWorld 基準測試要求 AI 智能體交付 Blender 中可編輯的 3D 場景。其 223 項任務從文字需求、參考圖片或參考影片開始。提交內容以原生 final.blend 專案為核心，並附上任務要求的圖片、影片與材質貼圖檔案。這讓評估者不只可以檢查產生的圖片，也能檢查場景本身。

這個公開儲存庫於 10 月 14 日發布，並在 10 月 16 日隨論文修訂更新，提供任務資料、提交規則與評估執行工具。對於嘗試用智能體處理 Blender 工作的美術人員與團隊，實用的進展是可以在專案檔案中檢查輸出是否符合需求。BIG CHANGE 查閱了文件與專案頁面；我們沒有執行基準測試，也沒有親自檢查提交的場景。

關鍵變化

  • 發生了什麼變化： BlenderWorld 將 223 項創作要求與 2,651 項任務專屬的二元判定標準，連同適用於 Blender 原生提交內容的公開評估工具一起提供。
  • 為什麼重要： 一張算圖可能掩蓋缺少的物件、錯誤的尺寸或無法使用的專案。這項基準測試透過場景檢查與視覺證據檢驗要求，另外給出獨立的視覺品質分數。
  • 需要關注什麼： 使用公開任務、程式碼與模型設定進行獨立測試，才能看出作者分數的可重現程度。將專案投入實際製作前，團隊仍須自行檢查儲存的專案。

從需求到可編輯檔案

這份資料集文件定義了 78 項文字任務、130 項圖片加文字任務，以及 15 項影片加文字任務。其中 59 項還有規格附件，可指定尺寸、材質或攝影機要求。每項任務都有 ID、需求與參考資料；評分規準則分開儲存。生成智能體在製作場景時看不到評估規準。

這份儲存庫快速入門指南介紹了 bw prepare，用來準備任務需求、參考資料與附件。接著，智能體在 Blender 中工作並儲存 final.blend，以及需求指定的匯出檔案與相依資源。bw pack-submission 會為每項任務建立一個 ZIP。評估工具以 Blender 檔案作為主要專案開啟；不會把精緻的最終算圖視為該檔案的替代品。

評估 AI 3D 助理時，這項區別很有用。靜態圖片或許能傳達預期外觀，而可編輯場景包含其他美術人員可能需要檢查或修改的幾何、材質、配置與動畫。BlenderWorld 的格式同時提供這兩類證據，但僅有有效檔案，並不能證明專業工作流程中的每個環節都已可用。

如何評分

根據評估協定，算圖智能體會從提交的場景選出八個視角。場景檢查處理需要存取專案的判定標準；視覺評審則使用算圖與其他視覺證據處理視覺標準。每項任務都有依重要性加權的二元通過條件。另有八項評分，涵蓋場景忠實度、物理合理性、風格與色彩、寫實度、空間配置、比例與尺度、光照與材質，以及完整性。

任務最終分數的一半權重來自二元評分規準，另一半來自各視覺面向評分的平均值。缺交或失敗的提交在彙總時記為零分，而不會從分母中消失。這個專案網站公布了 13 個模型的分數，但這些是作者在自行選擇的任務、生成設定與自動評審下取得的結果。網站也展示了七個模型在 26 項任務中的 181 個場景預覽，將其標示為精選範例，並明確提醒這些不是隨機抽取的品質樣本。

因此，這項基準測試比單一的圖片偏好分數提供更多診斷細節：結果可能不符合結構要求、視覺要求，或更廣泛的品質面向。但它本身無法證明模型的 3D 輸出符合特定工作室對可編輯性、匯出流程或可靠性的需求。公開的人類偏好比較，是在選定的配對上檢驗人類與自動評審的一致性；並非對後續可用性的認證。

可重現測試需要什麼

公開說明指定，準備新提交內容需要 Linux、Python 3.10 或更新版本，以及 Blender 4.2.10。評估另需 Node.js 22.17.0、ffmpeg 與 ffprobe、用於算圖及場景檢查的 Claude Code 2.1.220，以及已設定好的視覺模型端點。儲存庫提供 bw verify 來檢查資料集資源、bw evaluate --dry-run 來檢視計畫中的測試，還提供可續跑的評估工具，寫出各任務的證據與摘要檔案。這些是文件記載的命令，並非 BIG CHANGE 測試過的步驟。

程式碼採用 MIT 授權。執行評估仍需要列出的軟體、合適的運算資源，以及已設定模型服務的憑證；文件並未確立每次執行的固定價格。比較智能體時，應固定任務集、Blender 版本、評估工具設定與模型別名，再同時查看彙總結果與失敗任務。看似合理的圖片和高平均分，所回答的問題，比團隊能否修改並交付實際場景狹窄得多。

來源與延伸閱讀