MLIPS：多层索引器池共享加速稀疏注意力

MLIPS 让多层共享稀疏注意力候选池，实测加速 1.14–1.40 倍。

资讯摘要

论文提出 MLIPS，一种免训练方法：由生产者层发布大于注意力预算 K 的 top-M 候选池，后续层从池中各自打分并选出 top-K，从而共享候选搜索而不共享最终选择。作者在 vLLM 中为 DeepSeek-V4-Flash 实现逐层共享与解码复用，四个长上下文测试集上每生产者配三个消费者层带来 1.14–1.40 倍加速、GPU 能耗降低 14.8–27.4%，单次运行准确率变化为 -1.49 至 +0.29 个百分点；更广泛共享会出现任务相关质量损失。

要点速读

1. MLIPS 免训练，生产者层发布 top-M 池，后续层在池内自行选 top-K，保留各自打分与选择。
2. 在 vLLM 中为 DeepSeek-V4-Flash 实现逐层共享、持久化解码复用和粗粒度生产者；四个长上下文套件上三消费者层配置加速 1.14–1.40 倍，GPU 能耗降 14.8–27.4%。
3. 单次运行准确率变化 -1.49 至 +0.29 个百分点，更广泛共享会带来任务相关质量损失；作者另提出探索性的 Top-G 有界池构造，其部署与收益仍待验证。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。