QwenLM 的 BlenderWorld 基准测试要求 AI 智能体交付 Blender 中可编辑的 3D 场景。其 223 项任务从文字要求、参考图片或参考视频开始。提交内容以原生 final.blend 项目为核心，并附上要求的图片、视频和纹理文件。这让评估者既能检查场景，也能检查从场景生成的图片。

这个公开仓库于 10 月 14 日发布，并在 10 月 16 日随论文修订更新，提供任务数据、提交规则和评估运行工具。对于尝试用智能体处理 Blender 工作的美术人员和团队，实用的进展是可以在项目文件中检查输出是否满足要求。BIG CHANGE 查阅了文档和项目页面；我们没有运行基准测试，也没有亲自检查提交的场景。

关键变化

  • 发生了什么变化： BlenderWorld 将 223 项创作要求和 2,651 项任务专属的二元判定标准，与用于 Blender 原生提交内容的公开评估工具一起提供。
  • 为什么重要： 一张渲染图可能掩盖缺失的物体、错误的尺寸或无法使用的项目。基准测试通过场景检查和视觉证据检验要求，同时给出独立的视觉质量分数。
  • 需要关注什么： 使用公开任务、代码和模型设置进行独立测试，能显示作者分数的可复现程度。在投入实际制作之前，团队仍需自行检查已保存的项目。

从要求到可编辑文件

这份数据集文档定义了 78 项文字任务、130 项图片加文字任务，以及 15 项视频加文字任务。其中 59 项还带有规范附件，可以指定尺寸、材质或相机要求。每项任务都有 ID、请求和相应参考资料；评分细则单独保存。生成智能体在制作场景时看不到评估细则。

这份仓库快速入门指南介绍了 bw prepare，用于准备任务要求、参考资料和附件。随后，智能体在 Blender 中工作并保存 final.blend，以及任务要求的导出文件和依赖资源。bw pack-submission 会为每项任务生成一个 ZIP。评估工具将 Blender 文件作为主要项目打开；不会把精美的最终渲染图当作该文件的替代品。

评估 AI 3D 助手时，这一区别很有用。静态图片或许能传达预期外观，而可编辑场景包含其他美术人员可能需要检查或修改的几何、材质、布局和动画。BlenderWorld 的格式同时提供这两类证据，但仅有有效文件，并不能证明专业工作流程中的每个环节都已经可用。

如何评分

根据评估协议，渲染智能体会从提交的场景中选出八个视角。场景检查负责需要访问项目的判定标准；视觉评审则利用渲染图和其他视觉证据处理视觉标准。每项任务都有按重要性加权的二元通过条件。八项单独评分涵盖场景保真度、物理合理性、风格与色彩、写实程度、空间布局、比例与尺度、光照与材质，以及完整性。

任务最终得分的一半权重来自二元评分细则，另一半来自各视觉维度评分的平均值。缺交或失败的提交在汇总中记为零分，而不会从分母中消失。这个项目网站公布了 13 个模型的分数，但这些是作者在自行选择的任务、生成设置和自动评审下得到的结果。网站还展示了七个模型在 26 项任务中的 181 个场景预览，将它们标为精选案例，并明确提醒这些并非随机抽取的质量样本。

因此，这项基准测试比单一的图片偏好分数提供更多诊断细节：结果可能不满足结构要求、视觉要求或更广泛的质量维度。但它本身无法证明模型的 3D 输出符合某家工作室对可编辑性、导出流程或可靠性的要求。公开的人类偏好比较是在选定配对上检验与自动评审的一致程度，并不是对下游可用性的认证。

可复现测试需要什么

公开说明指定，准备新提交内容需要 Linux、Python 3.10 或更新版本，以及 Blender 4.2.10。评估另外需要 Node.js 22.17.0、ffmpeg 和 ffprobe、用于渲染和场景检查的 Claude Code 2.1.220，以及已配置的视觉模型端点。仓库提供 bw verify 来检查数据集资源、bw evaluate --dry-run 来查看计划中的运行，还提供可续跑的评估工具，写出每项任务的证据和汇总文件。这些是文档中的命令，并非 BIG CHANGE 测试过的步骤。

代码使用 MIT 许可证。运行评估仍需要列出的软件、适当的算力，以及已配置模型服务的凭据；文档并没有确定每次运行的固定价格。比较智能体时，应固定任务集、Blender 版本、评估工具配置和模型别名，再同时查看汇总结果和失败任务。看起来合理的图片和较高的平均分，所回答的问题，比团队能否修改并交付实际场景更窄。

来源与延伸阅读