论文称资源受限下模型组合比路由策略影响更大。
资讯摘要
论文在四GPU受控环境中考察临床NLP负载下LLM服务的容量规划问题，系统改变模型组合、路由策略与负载。作者报告，在24种配置中，模型组合对首token时间、延迟和长上下文覆盖的影响大于所评估的路由策略；全小模型组合响应与吞吐最佳但长上下文覆盖明显偏低，异构组合在强模型容量紧张时会出现瓶颈，容量感知路由可降低平均延迟、提升吞吐，但长上下文覆盖略有下降。
要点速读
- 论文使用四GPU受控环境，负载涵盖短事实核查、生物医学语义匹配和长上下文临床摘要。
- 作者报告在24种配置下，模型组合对首token时间、延迟和长上下文覆盖的变异贡献大于所评估的路由策略。
- 全小模型组合响应性和吞吐最好但长上下文覆盖低；容量感知路由可降延迟提吞吐，长上下文覆盖小幅下降。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。