论文用相对势能自动屏蔽长 CoT 中的有害监督片段。
资讯摘要
论文提出 MicroMouse，一种自动选择性 SFT 框架，用于在长链思维（long CoT）监督微调中识别并屏蔽有害监督信号。作者将长 CoT 视为从问题到答案的搜索轨迹，引入相对势能（REP）衡量每个推理状态对金答案的支持程度，通过对比金答案与匹配的干扰项来抵消共享的似然波动。方法将 REP 连续下降识别为错误探索、峰值后推理识别为冗余游走并加以屏蔽。作者报告在多种学生模型规模与推理基准上优于 Full-CoT SFT 及现有选择性 SFT 基线，贪心准确率平均相对提升 5.5%，Pass@1 提升 2.6%，输出长度减少 8.8%，每条长 CoT 平均 1.7 秒完成识别。
要点速读
- 论文提出 MicroMouse 选择性 SFT 框架，用相对势能（REP）对比金答案与匹配干扰项，衡量推理状态对目标答案的支持度。
- 方法将 REP 连续下降判为错误探索、峰值后推理判为冗余游走，并在 SFT 中屏蔽这些片段。
- 作者报告相对 Full-CoT SFT 贪心准确率平均提升 5.5%、Pass@1 提升 2.6%，输出长度减少 8.8%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。