Route-and-Generate：KL正则化路由器改进LLM推理路由

论文用KL正则化路由策略按输入分配推理量。

资讯摘要

论文提出 Route-and-Generate（Rouge）分层训练框架，让大模型按输入自适应决定推理量。该方法将推理投入分配与答案生成解耦：路由策略在多种推理格式间分配固定采样预算，基座模型用 GRPO 按样本奖励优化；同时采用偏好更短正确解的排名奖励，并通过闭式 KL 正则化策略改进步骤更新路由策略，再蒸馏进神经路由器。作者报告在多个推理基准上改善了准确率与效率的权衡。

要点速读

1. 论文提出 Rouge 分层训练框架，将推理投入分配与答案生成解耦。
2. 路由策略在多种推理格式间分配固定采样预算，基座模型用 GRPO 和逐样本奖励优化。
3. 采用偏好更短正确解的排名奖励，并以闭式 KL 正则化策略改进更新路由策略、蒸馏为神经路由器。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。