新基准用引擎内测试评估 LLM 智能体的 Unity 3D 开发能力。
资讯摘要
论文提出 UnityBench-Mini3D，一个面向 Unity 3D 游戏开发的 LLM 智能体基准，包含 77 个项目级任务，按七类专家定义的技能划分并设三个难度层级。每个任务配有完整 Unity 项目和自然语言需求，用 1,178 个人工编写的留出里程碑测试在引擎内评估场景结构、组件配置与运行时行为，可给出确定性的部分得分并定位失败。作者报告在 21 个模型和 9 个编码框架上，简单任务平均通过率 80.9%，困难任务降至 35.2%，总体仅 57.7%。
要点速读
- 基准含 77 个 Unity 项目级任务，按七类技能和三个难度层级组织，每个任务配完整项目与自然语言需求。
- 评估使用 1,178 个人工编写的留出里程碑测试，在引擎内检查场景结构、组件配置和运行时行为，不依赖 LLM 评审。
- 作者报告 21 个模型与 9 个编码框架的平均通过率：简单 80.9%、困难 35.2%、总体 57.7%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。