CWE-bench v2 发布：覆盖更多漏洞类型并公开评测集

CWE-bench v2 公开 100 个漏洞修复任务，领先模型 pass@1 约 68%。

资讯摘要

Collinear AI 发布 CWE-bench v2，公开 100 个安全漏洞修复任务，覆盖 91 种 CWE。智能体需在真实开源仓库中定位并修复漏洞且不破坏原有功能，评分完全程序化、可复现。作者报告 11 个模型中 Gemini 4 Argon 以 67.8% pass@1 领先，Claude Opus 5.5 紧随其后；95 个任务至少被一个模型解决，但领先模型每次尝试仍失败约 19%。

要点速读

1. 公开集含 100 个任务、覆盖 91 种 CWE，另设未公开的 held-out 集用于跟踪进展。
2. 作者报告 Gemini 4 Argon 达 67.8% pass@1、81.0% pass@4，略高于 Claude Opus 5.5 的 67.3% 与 78.0%。
3. 任务以 Harbor 格式提供，含 Docker 环境与确定性验证器，并标注 rl-environment 可用于训练防御型智能体。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:26（北京时间）。