论文用评分标准引导的过程奖励改进逐步模型路由。
资讯摘要
论文提出 RoRo，一种面向逐步模型路由的评分标准引导过程奖励框架。作者指出，现有方法虽将路由建模为序列决策过程，却仍用只反映最终答案正确性的结果奖励监督路由器，难以评估中间路由决策。RoRo 先收集多样路由轨迹，按结果、成本与过程质量构建偏好对，再交替优化训练 Rubricor 生成查询相关评分标准、Judge 依标准打分，所得过程奖励与结果奖励结合，通过 GRPO 优化路由策略。作者报告在五个推理基准的同家族与跨家族设置下均优于强基线，取得更好的准确率与成本权衡。
要点速读
- RoRo 针对逐步模型路由中结果奖励无法评估中间路由决策的问题，引入评分标准引导的过程奖励。
- 框架包含 Rubricor 生成查询相关评分标准、Judge 依标准为路由轨迹打分，二者交替优化。
- 过程奖励与结果奖励结合后用 GRPO 优化路由策略；作者报告在五个推理基准的同家族与跨家族设置下优于强基线。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。