LazyFlash 用反向块稀疏实现长上下文训练加速，模型仍为稠密。
资讯摘要
论文提出 LazyFlash，一种前向稠密、反向稀疏的注意力方法，依据是注意力训练耗时主要来自反向传播。其前向保持完全稠密，训练出的模型仍为标准稠密模型，可由 vLLM 等现有系统直接部署；反向则按注意力输出梯度范数对 query 块排序，跳过对参数更新贡献可忽略的块，并用梯度质量预算按头和训练步自适应调整跳过量，通过重要性采样在期望上保持稠密梯度。作者报告在长上下文文本与语音 LLM 上，下游性能保持，注意力反向较 FlashAttention 最高加速 5.7 倍，端到端训练加速 1.7 倍。
要点速读
- 前向保持稠密，训练所得模型仍为标准稠密模型，可由 vLLM 等现有系统直接服务。
- 反向按注意力输出梯度范数对 query 块排序并跳过贡献可忽略的块，梯度质量预算按头和训练步自适应调整跳过量。
- 作者报告长上下文文本与语音 LLM 实验中，注意力反向最高加速 5.7 倍、端到端训练加速 1.7 倍，且下游性能保持。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。