论文提出多轮交互式编码智能体评估框架 SWE-DIVE。
资讯摘要
论文提出 SWE-DIVE，一个面向多轮交互场景的编码智能体动态评估框架。作者指出，SWE-bench 等基准以结构良好的 GitHub issue 作为单轮输入，而真实使用中提示往往不够规范，且会话包含用户逐步追加需求的多次交互。该框架引入可模拟不同行为模式的用户模拟器，以及判断模拟器输出是否满足初始要求、能否引导智能体完成任务的对话验证器，并由 Harbor 环境统一编排智能体、模拟器与验证器并执行测试环境。
要点速读
- 论文指出 SWE-bench 类基准使用单轮、结构良好的 GitHub issue，与真实多轮、提示不规范的编码会话存在差距。
- SWE-DIVE 包含用户模拟器（模拟不同行为模式）和对话验证器（检查模拟器输出是否满足初始要求并引导任务完成）。
- 整个框架嵌入 Harbor 环境，负责编排编码智能体、用户模拟器和对话验证器，并执行测试环境判定任务是否解决。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。