LEAP：可泛化的LLM推理长度预测调度

LEAP用服务模型隐藏状态做可在线适应的长度预测调度。

资讯摘要

论文提出LEAP长度预测系统，用于LLM推理服务的长度感知调度。它复用服务模型prefill阶段的隐藏状态，通过线性读出提取输出长度信号，并用递归最小二乘法在测试时以已完成请求为监督在线更新，无需梯度计算或历史数据回放；预测与更新在CPU上异步执行。作者报告在跨域迁移中保持较强排序性能，较大域偏移下在线适应使Spearman相关性提升64.7%，每token平均延迟降低15.9%–40.8%。

要点速读

1. LEAP复用服务模型prefill隐藏状态，经线性读出预测输出长度，并在测试时用递归最小二乘法在线更新。
2. 预测与更新异步运行于CPU，与GPU剩余prefill重叠，无需梯度计算或历史数据回放。
3. 作者报告较大域偏移下在线适应使Spearman相关性提升64.7%，每token平均延迟降低15.9%–40.8%，吞吐高1.9%，预测器参数少30,569倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。