论文发现对齐更新在读写矩阵上呈现不同几何特征
资讯摘要
论文提出，预训练与对齐更新同一组 Transformer 权重，但方向不同。作者利用残差流为各矩阵提供共享坐标系，比较权重变化与激活主子空间、unembedding 预测子空间的关系，发现对齐阶段对 query/key 矩阵的更新集中在输入主子空间，而对输出矩阵的更新相对预测子空间接近随机；该特征在预训练后期及同一检查点的各目标下均出现，作者据此认为它属于训练阶段而非目标函数。
要点速读
- 论文将对齐阶段 query/key 矩阵的更新与输入主子空间比较，发现其富集于该子空间；输出矩阵的更新相对预测子空间接近随机。
- 作者报告该特征在预训练后期以及施加于同一检查点的每个目标函数下都出现，因此归因于训练阶段而非目标。
- 论文用线性映射梯度为外积之和的框架解释：读梯度继承激活谱，写梯度继承上游梯度几何，优化器削弱集中度，token 间抵消只影响更新尺度而非方向。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。