Mixture of Wide Experts：稀疏路由实现可解释原生坐标

MoWE 用稀疏专家写入固定坐标，原生可解释性接近稠密 SAE。

资讯摘要

论文提出 Mixture of Wide Experts（MoWE），一种稀疏前馈层：被选中的专家读取完整表示，但写入固定且互不重叠的输出坐标。在隐藏原因已知的受控任务上，该设计在保持预测性能的同时，比稠密模型和标准 MoE 更清晰地定位原因。约同等算力下，各架构训练两个 19 层模型、各 10B token，MoWE 评测交叉熵 2.417，稠密为 2.452，标准 MoE 为 2.22。

要点速读

1. MoWE 让被选中的专家读取完整表示、写入固定且互不重叠的输出坐标，以稀疏条件计算换取可解释的原生坐标。
2. 在约同等算力下各训练两个 19 层模型、各 10B token：MoWE 评测交叉熵 2.417，稠密 2.452，标准 MoE 2.22。
3. 用语言模型评判坐标描述的特异性得分：MoWE 0.523、稠密 0.375、标准 MoE 0.268；同 FFN 上训练的 TopK SAE 为稠密 0.489、MoWE 0.556。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。