编码智能体基准测试中的规格与测试预言差距

编码基准测试可能因未说明的上游实现细节而偏向复现者。

资讯摘要

论文指出，编码智能体基准常用自然语言描述任务，却用上游项目测试评分，通过测试可能需要描述未给出的常量名、模块路径或精确消息，作者称之为规格—预言差距。作者形式化该差距并构建覆盖五种语言的静态审计，在 SWE-Milestone 上发现 98 个评分里程碑中 25 个含依赖未说明名称或路径的测试，此类构建单元失败率为 80.6%。

要点速读

1. 论文提出规格—预言差距：测试评分依赖任务描述未说明且无法推断的实现细节。
2. 静态审计覆盖五种语言，作者报告留出集精确率 89.2%、召回率 92.9%。
3. SWE-Milestone 中 25 个里程碑受影响，相关构建单元失败率 80.6%，无此依赖的为 48.4%；移除受影响测试后排行榜排名稳健。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。