干预认证放大：σ加权后训练的有效性门控

σ加权混合后训练会放大预训练行为，ICA门控可抑制

资讯摘要

论文提出干预认证放大（ICA），针对SFT与RL混合后训练中按样本σ加权可能放大预训练行为的问题。作者以DIAA为例，在锚数据移除全部Python代码围栏后，模型仍在29%的MATH-500提示上输出未执行的TIR，为普通GRPO的三倍；抑制TIR可恢复10.6个百分点准确率。ICA用配对rollout证据门控σ，将TIR降至13.8%和11.2%，准确率由47.5%升至48.7%和49.3%，并迁移至GSM8K。

要点速读

1. DIAA在锚数据移除全部Python围栏后，仍在29%的MATH-500提示上输出未执行的TIR，为普通GRPO的三倍
2. 配对干预显示抑制TIR可恢复10.6个百分点准确率，SFT模仿与σ放大贡献相当；用0%TIR教师锚训练的学生模型TIR率达45.8%
3. ICA用配对rollout目标证据门控σ，冻结与在线版本将TIR降至13.8%和11.2%，准确率升至48.7%和49.3%，并迁移至GSM8K

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。