GAUSS：面向LLM推理服务的工作负载感知模拟器

论文提出可预测TTFT与TBT分布及延迟尾部的LLM推理模拟器GAUSS。

资讯摘要

论文提出GAUSS，一个工作负载感知的分析与蒙特卡洛模拟器，用于预测LLM推理服务中首令牌时延（TTFT）和令牌间时延（TBT）的完整分布及可持续请求速率。作者将预填充与解码两阶段校准的延迟曲面，与随机到达下的Lindley递推排队模型结合，用集成蒙特卡洛采样估计性能，而非回放单条轨迹。论文称该方法可分析尚未部署的工作负载、路由策略与硬件，并捕捉轨迹驱动模拟器易低估的延迟尾部。

要点速读

1. GAUSS结合预填充与解码的分阶段校准延迟曲面和Lindley递推排队模型，用集成蒙特卡洛采样估计性能。
2. 论文称其可预测TTFT与TBT的完整分布及可持续请求速率，并捕捉轨迹驱动模拟器系统性欠采样的延迟尾部。
3. 作者表示该模拟器支持工作负载、路由策略与硬件的分析，以及运行点选择、流量分段和最短剩余处理时间调度等问题。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。