资讯摘要
论文提出 SWE-Residual 基准，用于衡量编码智能体的“起始状态鲁棒性”，即任务起点已包含前序工作时的表现。该基准从 DeepSWE 和 Terminal-Bench 的 111 个任务中构建 198 个 Residual State，均为前序智能体提交完成但隐藏测试仍失败的状态。作者报告五个前沿智能体成功率较干净起点下降 20.6–53.5 个百分点（DeepSWE）和 20.6–34.9 个百分点（Terminal-Bench），并观察到“接受偏差”。
要点速读
- SWE-Residual 含 198 个 Residual State，取自 DeepSWE 与 Terminal-Bench 的 111 个任务，前序工作会修改代码仓库或整机环境。
- 被评估智能体仅收到原始请求和该状态，无前序轨迹或失败提示；请求与隐藏测试不变，起点是唯一差异。
- 作者报告五个前沿智能体成功率较干净起点明显下降，DeepSWE 上排名反转；失败运行中常见接受偏差。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:31（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。