论文称MoE通道选择用top-k即可免校准且效果不降。
资讯摘要
论文指出，MoE模型小批量解码受限于路由专家权重的内存加载。作者发现按阈值校准的通道选择器实际读取比例会随输入波动，18%预算下平均仅读12.9%；而top-k选择无需校准数据，在43项对比中40项持平或更优，并避免Gemma 4上的重复循环崩溃。作者还提出用模型权重构建的读取器，以三值草图筛选通道、低秩映射恢复被跳过通道。
要点速读
- 论文称校准阈值无法保证固定读取预算：按18%预算校准的Prox在实际基准上平均只读12.9%。
- top-k版本无需校准数据，在13%和18%预算的43项对比中40项持平或优于同分数阈值版本，生成任务23项全部不劣。
- 作者报告的读取器在三个后训练MoE模型上保留98.1%全模型准确率，仅读取17.8%路由专家权重；Triton内核在batch one上比优化后的vLLM快1.60至1.90倍，更大批量最高2.69倍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。