动态波与混合序列混合器在语言模型中的效率对比

循环替代注意力的效率收益须对照具体注意力后端与实现来表述。

资讯摘要

论文提出一种基于输入相关指数衰减与余弦相位调制的Dynamic Wave循环层，并在TinyStories上以10.94M参数对比纯Transformer、纯Wave与Wave-Attention混合三种配置，最长测试至4096 token。作者报告混合配置困惑度最低（5.95，Transformer为6.93，纯Wave为7.26）；但效率结论取决于实现：相对未融合注意力基线，纯Wave在4096 token下峰值显存低78.7%，相对融合SDPA内核则无优势，训练时还贵8.3%。

要点速读

1. 混合Wave-Attention配置在完整留出集上困惑度5.95，优于纯Transformer的6.93和纯Wave的7.26。
2. 纯Wave相对未融合注意力基线在4096 token下峰值显存低78.7%（1404.3 MB vs 6601.6 MB），但相对融合SDPA内核无优势，训练模式比Transformer贵8.3%。
3. 将逐元素项移出循环可在无自定义内核下提速2.53倍，把与注意力的延迟差距从2.48倍缩至1.12倍；混合栈峰值显存与纯Transformer相差0.1%以内。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。