稀疏与多样性正则化让MoE奖励模型专家更可解释且可组合。
资讯摘要
论文审计了混合专家（MoE）奖励模型的潜在组件，指出传统MoE学到的组件相互纠缠，既损害可解释性也限制个性化。作者认为纠缠源于训练目标而非架构本身，现成的稀疏与多样性正则化即可显著缓解。其稀疏MoE配置在受控设定下无需领域监督即恢复全部语义类别，专家纯度达84.8%（传统MoE为60.8%）；真实数据上专家可对应任务与领域描述，调整路由权重可产生可预测的偏好变化。该解耦还带来可组合性：50个样本的少样本个性化提升25.81分，约为纠缠专家同架构同流程增益的2.7倍。
要点速读
- 论文诊断传统MoE奖励模型的组件相互纠缠，限制可解释性与个性化，并归因于训练目标而非架构。
- 稀疏MoE在受控设定下专家纯度84.8%，传统MoE为60.8%，且无需领域监督。
- 路由权重干预可产生可预测的偏好变化；50样本少样本个性化提升25.81分，约为纠缠专家增益的2.7倍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。