LinearARD用4.25M token恢复RoPE扩展模型九成以上短上下文性能。
资讯摘要
论文提出LinearARD，一种恢复式蒸馏方法：用冻结的原生RoPE教师模型，通过对齐最终注意力层的Q/Q、K/K、V/V自关系矩阵行分布，恢复经RoPE缩放的学生模型。作者引入线性激活内存核，仅存每token的log-sum-exp统计并在反向重算logits，以精确计算KL散度梯度，消除n×n关系图的二次内存瓶颈。在LLaMA2-7B、LLaMA3-8B和Mistral-7B-v0.1扩展至32K上下文的实验中，作者报告仅用4.25M token即恢复93.1%/94.2%/94.3%的原生短上下文性能，并在RULER上表现稳健。
要点速读
- LinearARD以冻结原生RoPE教师对齐最终注意力层Q/Q、K/K、V/V自关系矩阵的行分布，而非下一token预测或隐状态匹配。
- 线性激活内存核只存每token的log-sum-exp统计，反向重算logits以精确获得KL散度梯度，避免n×n关系图的二次内存开销。
- 作者报告在三个7B级模型扩展至32K上下文时，仅用4.25M token（约为基线256M预算的1.6%，约60倍缩减）即恢复93%以上短上下文性能，RULER上优于同预算下的CPT与LongReD。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。