新基准显示3D程序编辑平均成功率仅37%,评审反馈最有效。
资讯摘要
论文提出3DCodeEdit基准,包含108个完全用代码构建物体的Blender程序上的2592个指令引导编辑任务,编辑类型涵盖参数调整、结构修改、风格重设计与场景组合,依据渲染结果对照人工审核清单评判。作者报告17个模型平均成功率仅37%,最强模型在结构与风格编辑上完成率不足60%;模型能力提升后,失败转向几何预见不足,即代码可运行但形状错误。作者还研究多轮反馈能否弥补,发现由独立评审模型描述渲染与请求差异的反馈效果最好,超过最大推理投入与智能体框架,可使27B模型单轮成功率超过2.8T参数模型。
要点速读
- 基准含108个Blender程序、2592个指令引导编辑任务,按渲染对照人工审核清单评判。
- 17个模型平均成功率37%,最强模型结构与风格编辑完成率不足60%。
- 独立评审模型给出渲染差异反馈效果最佳,可使27B模型单轮成功率超过2.8T参数模型。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。