论文用冻结预训练先验重加权 SFT 的 token，提升泛化。
资讯摘要
论文提出 PriFT，针对监督微调（SFT）逐 token 拟合固定示范、易过拟合且泛化弱于强化学习的问题，改用冻结的预训练参考模型计算 token 权重，估计每个目标 token 受预训练分布支持的程度，从而抑制对偏离预训练分布过大的目标的过度适配。作者给出 PriFT-prob 与 PriFT-mass 两种实现，并在数学推理、代码生成和医疗问答上报告了优于 SFT 基线的结果，同时为后续 RL 提供更好的初始化。
要点速读
- 论文指出 SFT 的 off-policy 目标会拟合与预训练分布不一致的目标 token，导致过拟合。
- PriFT 从冻结的预训练参考模型导出 token 权重，避免现有方法用当前微调模型计算权重带来的自我强化循环。
- 作者报告 PriFT 在数学推理、代码生成、医疗问答上取得 SFT 基线中的最优结果，并为后续 RL 提供更强初始化。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。