新方法免额外重分布，降低混合注意力训练端到端时间。
资讯摘要
论文提出 Layerwise Repacking，用于可变长混合注意力模型训练：全注意力层保留 SP16/32 父组，稀疏注意力层将样本重打包进节点内 SP{1,2,4,8} 子组，并复用全注意力层已有的 Ulysses 通信点，在一次变长 all-to-all 中同时完成头交换与样本重打包，避免额外重分布开销。作者报告在 1F3S 模型前 200 步中，重打包使平均端到端时间降低 5.95%、MFU 提升 3.75 个百分点；加入父组求解器后分别降至 7.61% 和 4.83 个百分点。
要点速读
- 全注意力层需 SP16/32 宽组，稀疏层可在节点内 SP8 内平衡，复用宽组会使 all-to-all 跨节点、有效速率低 7.0 倍。
- 方法在全注意力层保留父组，将样本重打包为节点内稀疏子组，并借助两个已有 Ulysses 站点完成头交换与重打包，不增加重分布 pass。
- 辅助父组求解器在形成子组前重新平衡父组成员；作者报告 22 个步骤上端到端时间降低 5.95%、MFU 提升 3.75 个百分点，加求解器后为 7.61% 和 4.83 个百分点。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。