辅助奖励助力小模型自我改进与迁移

辅助轨迹偏好可区分同样正确的推理轨迹并带来下游增益。

资讯摘要

论文研究辅助轨迹偏好能否提升小语言模型在有限监督下的自我改进与迁移。作者比较基于置信度（SC）与基于熵（UID-Conj.，结合全局熵变化与局部平滑度）的指标，通过在线奖励增强与离线训练进行实验。在线实验在30道无参考答案的AIME题上适配Qwen3-1.7B，离线实验使用历史AIME题。作者报告UID-Conj.在在线适配基准及三个迁移基准的宏平均上较未修改的TTRL提升2.08个百分点；离线加权SFT中，UID-Conj.在同一响应池上比均匀加权高1.93个百分点，配对提示自助法95%置信区间为[0.44, 3.44]。收益依赖任务：SC奖励侧重轨迹质量与指令遵循，UID-Conj.在若干设置下训练效果更强。

要点速读

1. 论文比较置信度（SC）与熵（UID-Conj.）两类辅助轨迹偏好指标，用于小模型自我改进。
2. 在线实验在30道无参考答案AIME题上适配Qwen3-1.7B，UID-Conj.较未修改TTRL宏平均提升2.08个百分点。
3. 离线加权SFT中UID-Conj.比均匀加权高1.93个百分点，95%置信区间[0.44, 3.44]；收益依赖任务。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。