SWE-Shift 显示编码智能体在任务中途变更下成功率明显下降。
资讯摘要
论文提出 SWE-Shift 基准，用于评估编码智能体在执行过程中遇到任务相关变更时的表现。同一保存历史与工作区下，Clean 续跑不做干预，Shifted 续跑则收到相关更新；成功需完成任务、保留仍有效的工作并满足状态与证据检查。基准含 12 类变更、120 个场景，每场景在 9 个干预位置评估。作者报告 17 个编码智能体系统的 Shifted 成功率均低于 Clean，GPT-6 Astra 从 67.35% 降至 24.79%。
要点速读
- 论文提出 SWE-Shift，覆盖 12 类变更家族、120 个场景，每场景在 9 个预定干预位置评估。
- 作者报告 17 个编码智能体系统的 Shifted 成功率均低于 Clean；GPT-6 Astra 从 67.35% 降至 24.79%，配对成功率为 20.34%。
- 工具/会话变更与过期证据在所有系统中配对成功率为零；部分系统在较晚干预位置的配对成功率更低，另一些更高。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。