预注册研究：harness搜索的增益从何而来

harness搜索的分数增益多来自解析与评估缺陷，而非真实能力提升

资讯摘要

论文预注册了两项研究，用1.7B至8B参数模型及Qwen3-14B考察harness搜索的分数增益来源，报告全部65个主要终点。作者报告：关闭思考在12个模型-基准组合中有7个提升准确率，多因受限设置下无答案可解析；14B上两个GEPA harness在LongevityBench字母任务上高出30至34分，但描述性分析中未明显高于最强恒定标签基线，且死亡率回答中95%至99%为“Yes”。

要点速读

1. 关闭思考在12个模型-基准组合中7个提升准确率，主要来自受限设置下无法解析出答案的题目
2. 14B上两个GEPA harness在LongevityBench字母任务高出30至34分，但描述性分析未明显超过最强恒定标签基线，死亡率回答95%至99%为“Yes”
3. 同一流程复现中，20个可评估案例有9个重现了评估缺陷造成的失真，其中7个可由设计恒等式修正

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。