论文建议按变更特征选择编码智能体评测任务。
资讯摘要
论文分析五个公开基准的2487个任务及六种智能体配置的14922次运行，提出Spread-Novelty-Centrality（SNC）画像，从文件分布、增删比例、依赖与复杂度刻画参考解。作者报告任意两个基准至少在两个SNC维度上不同，同名任务标签的基准亦然；被解决的运行多涉及较分散度低、Centrality较低的代码，Claude与Qwen配置的补丁规模差异不同。
要点速读
- 论文提出SNC画像，用于描述参考解在文件与目录间的分布、相对删除的新增程度及所触代码的依赖、历史与复杂度。
- 作者报告任意两个基准至少在两个SNC轴上存在差异，包括任务标签相同的基准。
- 在Claude Opus 4.6解决的FeatBench任务中补丁大于参考解，FeatureBench中则更小；六种配置下被解决的运行多涉及分布更集中、Centrality更低的代码。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。