VeeReview未达预注册校准标准，智能体PR验证差异仅为观察。
资讯摘要
论文提出VeeReview，用仓库信号与语言模型判定器对拉取请求中的四组构建-验证配对进行分类，并在25条双人标注参考集上评估，随后应用于741个仓库中1,454对智能体与人类编写的匹配PR。作者报告智能体PR在四组配对上的仅构建率均更低，与预注册假设相反；但工具未达到预注册校准标准，标注者一致性也较弱。
要点速读
- VeeReview用确定性信号约束模型判断，其中模块设计-单元测试配对由基于diff与仓库树的规则决定。
- 在1,454对匹配PR上，智能体编写的PR四组配对的仅构建率均更低（混合效应比值比0.52至0.86），架构-集成配对不显著。
- 工具与裁定标签的一致率为4%至60%，低于要求的80%，标注者间kappa为0.154。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。