智能体代码审查能否在合并前发现漏洞？

新基准用真实缺陷提交评测智能体安全审查，召回率差异明显。

资讯摘要

论文提出 SecPRBench，称其为首个基于经校验的真实世界代码变更、评估智能体安全审查的基准。作者用自动化流水线采集、构建并验证热门软件中引入缺陷的提交，并用 LLM-as-a-judge 判定发现是否匹配真实漏洞。目前已从 Firefox、V8、OpenSSL 等九个关键系统收集 265 个任务；在八个前沿模型上召回率为 32.5% 至 78.1%，Grok 4.6 与 GPT-6 sol 居前。

要点速读

1. 论文提出 SecPRBench，任务来自九个关键系统的 265 个真实引入缺陷提交，包括 Firefox、V8、OpenSSL。
2. 八个前沿模型的召回率在 32.5% 到 78.1% 之间，Grok 4.6 和 GPT-6 sol 排名靠前。
3. 作者报告 68% 的漏报中，智能体指出了含缺陷的文件但论证了不同机制；OpenAI Codex Security 使召回率降低 8.3 个百分点，Anthropic Defending Code 提高 7.7 个百分点但成本更高。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。