HyScale：面向学习型稀疏注意力的长上下文训练系统

HyScale 用在线 top-k 与选择重放加速稀疏注意力长上下文训练

资讯摘要

论文提出 HyScale，一种针对学习型稀疏注意力的长上下文训练系统。作者指出，选择操作因需为每个查询给所有历史 token 打分并物化完整分数表、重计算时重复选择，已成为训练瓶颈。HyScale 以 HyTopK 在线求精确 top-k、免分数表，并用 selection replay 在重计算中复用前向选择结果。作者报告在 512 张 H20 上训练 GLM-5.1 的 1M token 序列较 Megatron-LM 提速 2.07×。

要点速读

1. 核心思路：选择输出是索引集合而非激活值，据此设计 HyTopK 与 selection replay
2. 作者报告 GLM-5.1 在 1M token 序列上较 Megatron-LM 提速 2.07×（512 张 H20）
3. 在 32 张 H800 上，DeepSeek-V4-Flash 的 CSA 层与 Qwen3.8-Flash-Next 的 QSA 层分别提速 2.01× 和 1.57×

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。