递归自训练主要让模型置信变尖锐，而非改变准确率。
资讯摘要
论文在 Qwen3-1.7B 上进行五轮递归自训练实验，每轮对比方法使用三个随机种子，区分置信温度（相对校准起点的漂移）与判别力（把正确答案排在错误答案之上）。作者报告准确率与整体判别力几乎不变，但置信度变得更尖锐，最自信的答案反而更不可靠。将每轮预测熵对齐到校准起点模型，在 1.7B 和 8B 上重校准效果接近基于标签的温度拟合。
要点速读
- 论文称置信尖锐化并非自训练固有：从模型分布精确采样时期望梯度为零；漂移主要来自对每个生成答案拟合两次，top-p 截断贡献其余部分，去除两者后生成输出上的熵保持平稳。
- 不同补救措施影响不同：截断交叉熵、熵奖励与单次训练可保持温度但不提升判别力；focal loss 与多样本目标提升判别力却导致欠自信；参考数据混合也会过度校正。
- 论文提出将提升排序的损失与无标签重校准配对，可同时改善判别力与置信校准。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。