新基准 SWE-Bench ProMax 上最佳模型解决率仅 41.2%。
资讯摘要
论文提出 SWE-Bench ProMax，一个专家整理的多语言代码重构基准，含 170 个来自真实提交的实例，覆盖 Python、Java、TypeScript、Go、C、C++ 和 Rust 七种语言。作者指出，近期审计发现 SWE-bench Verified 中近 60% 未解决实例存在测试缺陷，且前沿模型可逐字复现训练数据中的金标准补丁；为此该基准重写问题描述并人工审查测试套件。实例平均修改 11.5 个文件、261.6 行代码。作者报告，在两种智能体框架下，最佳模型解决率仅 41.2%。
要点速读
- 基准含 170 个实例，覆盖七种编程语言，来自真实提交。
- 作者称近期审计发现 SWE-bench Verified 近 60% 未解决实例测试有缺陷，前沿模型可复现金标准补丁。
- 作者报告最佳模型在两种智能体框架下解决率为 41.2%，平均每实例修改 11.5 个文件、261.6 行代码。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。