论文主张智能体生成软件需由结构独立的验证方把关。
资讯摘要
这篇论文指出，当编码智能体同时产出软件和正确性证据时，通过的测试不再构成独立证据：可见测试会成为优化目标，代码与测试可能共享对规格的同一误解，构建者自测也可能不完整。作者主张为智能体生成的软件建立与构建平面结构独立的“保障平面”，区分需求、一致性、评估与模型四类缺口，并提出分离构建与验证的框架，包括验证契约、先规格后实现的验证阶段，以及基于变异分析、属性测试和模糊测试的实现感知阶段，最终由人决定是否发布。
要点速读
- 论文提出 Verification Contract，规定发布前必须证明的内容，并将验证分为不接触实现的规格优先阶段和基于变异分析、属性测试、模糊测试的实现感知阶段。
- 在三个有状态服务（其中两个由第三方模型编写）的预注册研究和 EvalPlus 试点中，构建者的程序本身正确，但其自测漏掉了细微交互。
- 新上下文中的验证者比构建者自测发现更多 46 个植入故障（Holm 校正 p=0.006），并暴露规格歧义，代价是偶发错误判据；另一提供方的验证者未提升检出。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。