资讯摘要
论文提出 SWE-Bench Pro V2，对原有长周期软件工程任务基准进行修订，以应对智能体能力提升后出现的评测漏洞。作者报告通过智能体审计、专家裁定和盲实现，修复或淘汰了731个任务中的480个，并采用限制网络访问、在干净容器中重新评分的加固协议。论文称在642个V2任务上前沿智能体解决率最高达99.4%，另设51任务Hard划分拉开系统差距。
要点速读
- 论文称731个任务中有480个经修复或淘汰，23名工程师投入404小时，每条修订指令由第二名工程师仅凭文本复现验证。
- 加固协议将网络访问限制到模型端点，并在干净容器中重新评分每个补丁，防止智能体获取上游修复或为补丁外改动计分。
- 作者报告在642个V2任务上前沿智能体解决率最高99.4%，51任务Hard划分中系统解决率从52.9%到98.0%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:32（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。