论文用MoE专家路由统计作为过程监督信号并蒸馏为PRM
资讯摘要
论文提出利用混合专家（MoE）模型的专家路由统计作为过程监督信号，构建由整体路由质量、头路由质量和步内路由变化组成的路由置信度。基于此提出RoCo-Rethink，定位最不自信的推理步骤并选择性重生成后续轨迹；以及RoCo-PRM，用强MoE自动标注推理轨迹的步骤分数并蒸馏为独立PRM。作者报告在多种MoE架构和推理任务上两者均优于强基线，RoCo-PRM可跨架构与任务迁移。
要点速读
- 论文指出路由统计可提供与输出logit置信度相当的内在过程置信信号
- RoCo-Rethink识别最不自信步骤并选择性重生成后续轨迹
- RoCo-PRM用强MoE自动标注步骤分数并蒸馏为独立PRM，作者报告可跨模型架构和任务迁移
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。