Turing LLM 后训练：校准蒸馏与动态 MoE 执行

论文报告 Turing-20B-A2B 的专家整合得分 0.9988，整合步骤提速 2.86 倍。

资讯摘要

论文研究动态路由 MoE 模型的后训练，提出将校准多教师同策略蒸馏（C-MOPD）与高效执行路径结合，用于整合独立优化的专家模型。作者报告在 Turing-20B-A2B 上四领域归一化整合得分为 0.9988，各领域保留至少 90.16% 的专家增益；在 PPU 配置下，整合步骤时间从 398.7 秒降至 139.3 秒。

要点速读

1. C-MOPD 在局部 Top-K 支持上匹配所选教师，并采用教师级损失归一化与裁剪。
2. 执行路径包含容量后限宽调度、最终路由重放和异步 rollout 与训练重叠。
3. 作者报告在 8K 响应上限下，四个数学与代码基准的未加权均值为 85.92，高于 Qwen3-8B 的 80.33 和 SFT 的 74.21。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。