论文为 MoE 缩放给出理论泛化界与缩放定律推导。
资讯摘要
论文提出一套针对 Mixture-of-Experts（MoE）Transformer 的泛化与缩放理论，将每个输入实际激活的容量与路由组合数分开处理。作者通过对固定路由模式取条件并做联合界，推导出 sup-norm 覆盖数界，其度量熵随激活参数预算增长，并带有 MoE 特有的路由开销；结合平方损失的 ERM 分析，在 d 维流形数据模型与 C^β 目标下给出泛化界。论文还证明 MoE 的构造性近似定理，并据此推导模型规模、数据规模与计算最优权衡的神经缩放定律。
要点速读
- 论文将 MoE 的激活参数容量与路由组合数分离，推导出带路由开销的 sup-norm 覆盖数界。
- 在 d 维流形数据模型与 C^β 目标下，论文结合 ERM 分析给出泛化界，指出计入激活参数后近似与估计的权衡与稠密网络类似。
- 论文证明 MoE 构造性近似定理，并据此推导模型规模、数据规模与计算最优的缩放定律。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。