CPR 按 token 路由基座与 SFT 专家，兼顾领域性能与通用能力。
资讯摘要
论文提出 CPR（Critical-Point Routing），在模型层面解耦通用能力与领域能力：保留原始基座模型负责通用能力，仅在需要领域知识时调用 SFT 专家模型。方法训练轻量级分层路由器，按 token 估计调用专家的概率，并结合动量平滑与阈值门控的推理流程。作者报告在多种模型—领域配置下均取得最优结果，领域性能比 SFT 专家高 1.4–5.5%，通用能力下降从 3.4–14.5% 收窄至最多 0.5%，且仅约三分之一 token 调用专家。
要点速读
- 论文提出 token 级路由框架 CPR，在基座模型与其 SFT 专家衍生模型之间按关键 token 选择调用。
- 路由器为轻量级分层结构，估计每个 token 调用专家的概率，推理时配合动量平滑与阈值门控。
- 作者报告领域性能较 SFT 专家提升 1.4–5.5%，通用能力下降最多 0.5%，仅约三分之一 token 触发专家调用。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。