98 个 agent 技能中 92 个对真实 SWE 任务无显著效果。
资讯摘要
论文提出 swe-skills-bench，一个以技能为中心、需求驱动的基准，用于衡量单个 agent skill 对真实软件工程任务的提升。作者从 98 个公开 SWE 技能出发，每个技能配对一个固定 commit 的 GitHub 仓库，生成仓库特定需求、可执行验证器和可复现环境，在四种 agent-模型配置下做有/无技能的配对评估，共 3,920 次。结果显示 92 个技能无统计显著效果，平均通过率仅从 76.6% 升至 76.9%；少数有用技能带来最高 +17.7 点提升，有害技能则因模板覆盖任务指令造成最高 -17.0 点损失。
要点速读
- 论文构建 98 个技能与固定 commit 仓库配对的基准，共 3,920 次配对评估。
- 92/98 个技能无统计显著效果，平均通过率从 76.6% 到 76.9%。
- 有用技能最高 +17.7 点，有害技能最高 -17.0 点，原因是模板覆盖任务指令。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。