论文提出受内存约束的LLM推理cμ调度规则

论文提出受KV缓存约束的cμ推理调度规则并给出理论证明。

资讯摘要

该论文从排队论角度研究LLM推理的在线调度问题：请求随机到达且输入输出长度异构，需竞争有限的KV缓存容量，处理时长同时受预填充计算与KV缓存I/O影响。作者建立流体模型，将系统约化为有效服务率由计算速度、内存带宽和内存容量共同决定的多类单服务器队列，并据此给出cμ优先级规则。论文证明该规则在流体模型中最小化累积持有成本，对有限负载还能最小化完成时间并最大化输出token吞吐，并在NVIDIA H800上的真实推理引擎中进行了实验。

要点速读

1. 论文将LLM推理调度建模为受KV缓存容量约束的多类单服务器队列，服务能力由计算、内存访问和内存占用共同决定。
2. 作者提出cμ优先级规则，其有效服务率μ由计算速度、内存带宽和内存容量联合确定，并证明其在流体模型中最小化累积持有成本。
3. 论文在NVIDIA H800上的真实LLM服务引擎中实验，报告该规则相比现有调度策略显著降低平均延迟并保持高吞吐。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。