固定logit校正只能挽回小部分遗忘损失。
资讯摘要
论文研究语言模型在指令微调或新领域继续预训练后出现的“遗忘”问题，尝试用固定的词表偏置（对每个token加固定奖励或惩罚）以及温度参数来校正最终token预测。作者在14对基座与衍生模型（1B至7B参数）上拟合，在留出文本上，仅用top-4K偏置的最大恢复估计不足10%；偏置加温度最多恢复36%。在数学数据上继续预训练的模型损失最大且几乎无法恢复；随机损伤模拟中偏置加温度仍恢复29%。作者指出，真实模型的大部分损失增加无法被这种受限拟合挽回。
要点速读
- 论文在14对1B至7B基座与衍生模型上拟合固定词表偏置，单独使用时top-4K偏置恢复估计不足10%。
- 偏置与温度结合后最多恢复36%；在数学数据上继续预训练的模型损失最大且几乎无法恢复。
- 在无植入偏置或温度变化的随机损伤模拟中，偏置加温度校正仍恢复29%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。