MoEZip用路由敏感度指导KV淘汰，10%保留率下基准分数显著提升。
资讯摘要
论文提出MoEZip，针对稀疏混合专家（MoE）大模型长上下文推理中的KV缓存瓶颈。作者指出，MoE特有的问题是KV淘汰会改变答案生成时被选中的专家，从而损害生成质量。MoEZip基于路由分布的Fisher信息矩阵提出新指标，估计专家路由对扰动的敏感度，并与注意力权重结合进行路由感知的上下文评分，再组合稠密与稀疏MoE的淘汰方法。作者报告在10% KV保留率下，LongBench和RULER平均较SoTA基线分别提升24和20分。
要点速读
- 论文指出MoE模型中KV淘汰会改变专家路由，进而降低生成质量，这是现有稠密Transformer压缩方法未考虑的问题。
- MoEZip用路由分布Fisher信息矩阵构造路由敏感度指标，并与注意力权重结合做上下文评分。
- 作者报告在10% KV保留率下，LongBench与RULER平均较SoTA基线提升24和20分，对应2.3倍和4.9倍分数。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。