CRE-Router：面向成本感知LLM服务的级联路由框架

论文提出聚类路由加升级的两阶段LLM服务框架，兼顾准确率与成本。

资讯摘要

论文提出CRE-Router（Cluster, Route, Escalate）两阶段方法，用于在本地部署多个不同规模开放权重模型时决定由哪个模型回答查询。该方法先对查询聚类并按误差与成本权衡路由，在TPOT或E2EL预算约束下选择模型；若质量估计器拒绝答案，再将查询升级至强模型。作者在TeleMath、TeleQnA和AIME上以A100 GPU上2至9个模型池进行评测，报告其准确率高于池中高效模型、与升级所用强模型相当，且每token成本更低。

要点速读

1. CRE-Router采用聚类路由加事后升级的两阶段机制，路由在生成前决定、升级在生成后纠错，仅需任务正确性标签。
2. 作者在TeleMath、TeleQnA、AIME上评测，模型池规模为2至9个，部署于A100 GPU。
3. 作者报告其准确率高于池中高效模型、与升级目标强模型相当，且每token成本更低；成本项选择、按簇定价和硬件变化都会影响最优路由。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。