PROBE：前沿编程智能体发现的缺陷与维护者修复的不同

PROBE 基准显示前沿编程智能体查缺陷召回低且与维护者关注点不同。

资讯摘要

论文提出 PROBE 基准，汇总 20 个 GitHub 仓库 18 个月内修复的全部 2,457 个缺陷，并提供将候选发现与参考集匹配的方法。作者报告前沿编程智能体召回率低于 21%、精确率低于 9%；更强模型把召回从 8% 提升到 17%，但精确率未改善。尽管精确率低，LLM 与人类评估者仍判定 85% 的发现有效；各智能体发现的缺陷分布相近，却与维护者修复的缺陷分布差异明显。

要点速读

1. PROBE 覆盖 20 个 GitHub 仓库、18 个月内修复的 2,457 个缺陷。
2. 作者报告前沿模型召回率低于 21%、精确率低于 9%，更强模型仅提升召回。
3. LLM 与人类评估者判定 85% 的发现有效，但智能体发现的缺陷分布与维护者修复的不同。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。