新基准显示单轮成绩不足以刻画交互式编码能力
资讯摘要
论文提出 UserSWE 基准，用于评估编码智能体在多轮对话中修复仓库级缺陷的能力。该基准将仓库历史与现有单轮基准转化为多轮任务，每轮由信息池限制模拟用户可透露的内容，并用基于 20,859 个开发会话校准的 persona 链控制其表达方式；每轮后运行测试，由不同模型家族的智能体分别撰写和审核判定。作者在 42 个仓库的 72 个任务上评估 11 个智能体，发现排名随交互预算变化。
要点速读
- 论文指出，现有基准多在单轮中给出完整问题报告，评估可能误判正确或错误的补丁。
- UserSWE 每轮后运行测试，由不同模型家族的智能体分别撰写和审核判定，测试结果为主要证据。
- 作者报告：Claude Fable 5.1 单轮解决最多，GPT-6-Astra 到第八轮最多，Claude Opus 5 在多数中间预算领先。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。