查询路由可在不推迟请求下提供数据中心电力灵活性。
资讯摘要
论文研究以查询路由实现数据中心电力需求灵活性：在不推迟请求的前提下，将查询动态分配到不同语言模型实例。作者建立分析框架，把查询到达率与序列长度分布同token迭代时间、请求驻留时间、服务容量和功耗关联，并刻画可行的路由分配与对应功率灵活性。作者报告在1B至70B模型、四种GPU平台上验证，估计功率灵活性的平均绝对百分比误差为2.8%；在1万块H100的trace驱动仿真中，灵活性可达总功耗的16%，约10秒内实现90%的目标降功率。
要点速读
- 论文提出查询路由机制，在不延迟请求的情况下跨模型实例动态分配查询，以提供电力需求灵活性。
- 作者建立分析框架，关联查询到达率、序列长度分布与token迭代时间、驻留时间、服务容量及功耗。
- 作者报告在1B–70B模型和四种GPU平台上验证，估计功率灵活性的平均绝对百分比误差为2.8%；1万块H100仿真中灵活性达总功耗16%，约10秒内完成90%目标降功率。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。