ROCm InferaSim：用少量测量预测LLM服务性能

少量anchor测量即可预测LLM服务配置性能

资讯摘要

论文提出ROCm InferaSim，通过少量短时测量（称为anchor）结合解析规律，预测不同部署配置下的LLM服务性能，并用模拟器回放多轮流量、调优代理搜索配置。作者报告在AMD Instinct MI355X上配合vLLM、SGLang和ATOM，11个anchor耗时9.1 GPU小时，覆盖226个固定长度配置（直接测量需204 GPU小时）；172个配置的每输出token时间中位误差8.1%，多轮编码负载吞吐误差在8%以内，159个未作anchor的分离式部署吞吐误差在5.5%以内。

要点速读

1. 方法：对每组不同kernel只测量一次anchor，再用解析规律外推到其他部署；多节点配置先归约为单节点等价再测量并解析缩放。
2. 作者报告11个anchor耗时9.1 GPU小时，对应226个固定长度配置直接测量需204 GPU小时。
3. 误差数据：172个配置每输出token时间中位误差8.1%，多轮编码负载吞吐误差8%以内，159个分离式部署吞吐误差5.5%以内。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。