PACE：按步调节分支并行度以提升LLM服务吞吐

PACE按步控制分支并行宽度，在99% SLO下提升服务吞吐。

资讯摘要

论文指出，现有LLM服务系统对请求内并行分支采用急切执行或固定上限两种策略均不稳健：急切接纳会拉长共享解码步、拖累同批请求，固定上限则牺牲吞吐。作者将分支带来的额外步延迟称为“分支外部性”，提出PACE按步准入控制器，仅在预测外部性落在批次当前松弛预算内时接纳额外分支。作者报告在Qwen3-32B上goodput较无分支并行提升1.77倍、较急切接纳提升1.48倍，并保持99% SLO达成率。

要点速读

1. 论文提出PACE按步准入控制器，把额外分支视为机会性宽度，依据批次组成、上下文长度与累积松弛动态决定接纳。
2. 分支共享请求前缀KV，扩缩宽度无需回收内存，使按步调节可行。
3. 作者报告Qwen3-32B上goodput较无分支并行提升1.77倍、较急切接纳提升1.48倍，维持99% SLO；另五个模型上提升1.72–2.15倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。