SPARE：用路由熵分配MoE专家剪枝稀疏度

SPARE按路由熵分配各层MoE专家剪枝比例，优于均匀分配。

资讯摘要

论文提出SPARE，一种免训练、与选择器无关的MoE专家剪枝方法，依据校准数据上token归一化Top-K门控权重的路由熵，决定各层剪掉多少专家：路由越分散的层剪得越多。作者报告在Mixtral、Qwen3和DeepSeek模型上，相同选择器与预算下平均准确率优于均匀分配，50%剪枝时Qwen3-30B-A3B八任务均值从57.2%升至63.8%。

要点速读

1. SPARE用路由熵决定每层剪枝数量，路由越分散的层剪得越激进，无需训练且不依赖特定选择器。
2. 论文给出随机剪枝下的扰动界，并通过固定选择器的干预实验说明路由集中对应更大的输出变化。
3. 作者报告50%专家剪枝下Qwen3-30B-A3B八任务均值由57.2%升至63.8%，DeepSeek-R1数学、代码、科学均值由80.1升至82.8。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。