CONFIRM 用预注册分析计划与确定性门控降低智能体误报。
资讯摘要
论文指出，现有 LLM 智能体虽能校验代码运行与数值一致性，却依赖 LLM 判断哪些结果值得报告，而 LLM 评审会认可存在站点混杂的发现。作者提出 CONFIRM，将假设预先编码为机器可读的分析计划，固定声明与通过标准，再经搜索历史与多重性、混杂、统计功效、分析稳定性、复现五道确定性门控，按 Screen、Replicate、Full 三档标准过滤。论文同时发布含 489 条可执行声明的 NeuroClaimBench。
要点速读
- CONFIRM 把运行分析与决定报告哪些发现分离，用预先指定的分析计划和五道确定性门控筛选结果。
- 在 NeuroClaimBench 上，CONFIRM 对对照项的错误支持率最高 3%，基线为 23%–38%，同时找回最多 61% 有文献支持的声明。
- 审计现有智能体时，CONFIRM 将对照项错误支持率从 23% 降至 0%，其诊断反馈比 Self-Refine 产生更多获支持的修订且 LLM 调用更少。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。