功能正确性会高估 LLM 生成代码的安全可靠程度。
资讯摘要
论文提出 DualGauge，一个全自动框架，用于联合评估仅凭自然语言规范生成代码的功能正确性与安全性，并配套 DualGauge-Bench 基准，包含 307 个编码任务，每个任务的功能测试与安全测试均源自同一规范。作者报告，在 Python、C++、JavaScript 上评测 10 个代表性 LLM 时，功能正确性会明显高估可靠代码生成能力，最强模型在三种语言中的安全与功能联合成功率均低于 15%。
要点速读
- DualGauge-Bench 含 307 个语言无关任务，每个任务配有源自同一规范的功能测试与安全测试。
- 作者报告，10 个 LLM 在 Python、C++、JavaScript 上的联合安全-功能成功率均低于 15%。
- 模型规模、扩展思考、量化、指令微调与代码专精等因素未可靠提升联合表现；3 个编码代理的结果高度依赖脚手架，其中两个未超过直接调用模型。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。