回到最新动态
研究论文 / THE SIGNAL

验证器强度不提升发现质量:LLM自动研究双域预注册测试

Verifier strength does not buy discovery quality: a pre-registered two-domain test of LLM-based automated research, with post-hoc evidence pointing to proposer-pool composition

重要性 5.5 AI 辅助整理

论文发现扩大提案池比收紧验证门更能提升发现质量。

资讯摘要

论文以预注册协议在作业车间调度和基于北京T-Drive轨迹的车载边缘卸载两个真实数据域中,各用100对匹配的LLM/随机提案与三档验证器强度,检验“验证越强发现质量越高”的假设。作者报告验证器操纵确实生效,但LLM相对随机的配对优势并未随验证强度扩大,在D域严格档下反而缩小;事后并池分析显示扩大提案池比收紧验证门更能提升发现质量。

要点速读

  1. 预注册协议覆盖两个真实数据域,每域100对匹配LLM/随机提案,设三档验证器;429例变异测试显示分数随档位上升,说明操纵生效。
  2. LLM相对随机的配对优势未随验证强度扩大(A域单侧p=0.1115,D域p=0.9994),D域严格档下边际对比为-0.040(p=0.0013)。
  3. 事后并池分析显示混合两个提案池在A域增加+1.52留出价值单位(单侧Wilcoxon,n=100,p=0.0002),作者据此认为池组成而非验证强度是关键杠杆。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开