首个XR编码智能体基准发布,最强模型Pass@1仅50.9%。
资讯摘要
论文提出 GenXR-Bench,称其为首个端到端评估编码智能体开发交互式 XR 应用的基准,含 112 个专家编写任务,覆盖 24 项功能实现、21 个缺陷修复和 67 个应用生成任务。测试结合脚本化与自适应交互及程序化、视觉断言,作者报告其测试套件对 124 个候选应用的盲评一致率达 96.5%。在 10 个模型上评估,最强配置总体 Pass@1 仅 50.9%,失败集中在异步传感器生命周期、物理落地与具身交互语义。
要点速读
- 基准含 112 个专家编写任务:24 项功能实现、21 个缺陷修复、67 个应用生成。
- 作者报告测试套件对 124 个候选应用的盲评一致率为 96.5%。
- 10 个模型中最佳配置总体 Pass@1 为 50.9%,失败多与异步传感器生命周期、物理落地和具身交互语义有关。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。