无形式答案场景下的可训练边界保持：证据充分性判断的奖励训练对照研究

论文报告边界保持判断可通过奖励训练获得，但未获证明。

资讯摘要

论文研究证据充分性判断：判断现有信息是否支持因果主张，该领域没有可判定的正确性奖励。作者采用预注册、同基座、受控 knock-in 设计，比较先 SFT 后 GRPO 的边界保持方案与其基线、打乱配对安慰剂及通用推理模型。作者报告训练组自发正确拒绝从 25% 升至 100%，打乱安慰剂组则崩溃；效果限于边界判断而非一律拒绝。作者称最终边界保持可在无推理时验证器下训练，但主动数值核查仍接近零。

要点速读

1. 采用预注册、同基座、受控 knock-in 设计，对比 SFT 后 GRPO 的边界保持方案、其基线、打乱配对安慰剂和通用推理模型。
2. 作者报告训练组自发正确拒绝由 25% 升至 100%（每组 40 例），打乱安慰剂组降至 5% 自发正确、91.1% 误拒。
3. 作者称效果为边界特异而非一律拒绝，281 条良构主张自动误拒率 1.1%；SFT 饱和使 GRPO 增量无法单独识别，机制裁定倾向奖励内化（H2，未证明）。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。