近零词嵌入致门控序列模型训练停滞

近零词嵌入可致门控模型梯度裁剪溢出、训练停滞。

资讯摘要

论文调查291个开放权重语言模型仓库（280个不同嵌入表），发现52.6%的未绑定门控与混合检查点（20/38）存在范数低于10^{-6}的可达输入嵌入，而权重绑定模型为0%。作者指出，预训练中未见稀有或模板词元输入梯度为零、AdamW权重衰减使未绑定嵌入收缩，可产生近零行；在Mamba、Gated DeltaNet、xLSTM等门控序列模型中，近零词元可使输入嵌入梯度放大约30个数量级以上，并因Pre-RMSNorm逐层放大反向梯度，导致FP32全局范数裁剪溢出、当前批次梯度归零。作者提出GroupClip与GateFloor两种补救方案。

要点速读

1. 调查291个开放权重仓库（280个嵌入表），52.6%的未绑定门控/混合检查点含范数低于10^{-6}的输入嵌入，权重绑定模型为0%。
2. 门控序列模型中近零词元可放大输入嵌入梯度超30个数量级，Pre-RMSNorm逐层放大反向梯度，使PyTorch等FP32全局范数裁剪溢出。
3. 作者提出GroupClip（发布检查点）与GateFloor（预训练）两种补救方案，实验规模至370M参数。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。