量化误差与语言模型训练中的“定时炸弹”式损失尖峰

LM head 量化误差是长程预训练损失尖峰的隐藏驱动因素。

资讯摘要

论文研究语言模型预训练中延迟出现的终端损失尖峰，称为“定时炸弹尖峰”。作者发现这类不稳定发生前，LM head 的量化误差会快速增大，最终导致损失尖峰；降低数值精度会加速尖峰出现，提高精度则改善稳定性。论文提出用带动量的 SGD 替换 LM head 上的 AdamW，以抑制 logit 增长并提升长程训练稳定性，并指出已有缓解方法均降低量化误差。

要点速读

1. 论文将仅在长时间训练后出现的终端发散称为“定时炸弹尖峰”，其前兆是 LM head 量化误差快速增大。
2. 降低数值精度会加速这类尖峰，提高精度则提升稳定性。
3. 作者提出在 LM head 上用带动量的 SGD 替代 AdamW，并称已有缓解技术均能降低量化误差。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。