MOER：专家前缀引导与选择性回滚的混合策略优化

MOER 用衰减专家前缀加选择性回滚稳定混合策略训练。

资讯摘要

论文提出 MOER 混合策略优化框架，将专家引导与自我探索结合：在提示中注入逐步衰减的专家思维链前缀，让模型补全剩余推理，前缀长度逐渐退火以鼓励探索；选择性回滚机制在补全失败时替换为原始完整专家轨迹，保证每条离策略轨迹正确；并用 GRPO 损失优化在策略 token、信任域 SFT 损失监督专家前缀与补全 token。作者报告其在数学与通用推理任务上平均分最高，优于基础与混合策略基线，并在不同任务、模型规模和基座类别上保持泛化。

要点速读

1. MOER 在提示中注入衰减的专家思维链前缀，前缀长度逐步退火以鼓励自我探索。
2. 选择性回滚机制用原始完整专家轨迹替换失败补全，保证离策略轨迹正确性。
3. 作者报告 MOER 在数学与通用推理任务上平均分最高，优于所有基础与混合策略基线。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。