专家输出存在结构化冗余：MoE大模型的结构保持专家剪枝

论文利用专家输出的结构化冗余做结构保持剪枝，多数基准超过基线。

资讯摘要

论文指出MoE层专家输出存在结构化冗余，不同模型与任务下专家输出的稳定秩和熵有效秩均远低于专家名义数量。作者将专家剪枝重构为结构保持的专家子集选择问题，用贪心策略优化，提出PEEP与DCEP两种方法，并引入路由器权重作为先验。在DeepSeek-V2-Lite和Qwen3-30B-A3B上，保留75%和50%专家时，多数基准优于现有基线。

要点速读

1. 论文观察到MoE专家输出的稳定秩与熵有效秩持续远低于专家数量，输出分布的有效模态也更少。
2. 提出PEEP（最大化加权投影能量以保留功能子空间）和DCEP（最小化加权覆盖误差以保留分布几何）两种剪枝方法。
3. 在DeepSeek-V2-Lite与Qwen3-30B-A3B上，专家保留率75%和50%时多数基准超过基线，通用与数学推理平均表现最佳。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。