Dooly用冗余感知分析降低LLM推理模拟的性能分析成本。
资讯摘要
论文提出Dooly，一种面向LLM推理模拟的配置无关、冗余感知性能分析方法。它通过单次推理与污点传播标注输入维度来源，仅分析延迟数据库中缺失的算子，并复用服务引擎初始化代码隔离注意力等有状态算子，再据此构建延迟回归模型作为现有模拟器的后端。作者报告在两种GPU、三种注意力后端下，TTFT与TPOT的模拟误差分别在5%和8%以内，12个模型的性能分析GPU时减少56.4%，并已开源。
要点速读
- Dooly通过单次推理和污点传播标注每个输入维度的来源，只对延迟数据库中不存在的算子做性能分析。
- 有状态算子（如注意力）通过复用服务引擎自身的初始化代码隔离，无需手动插桩。
- 作者报告：TTFT模拟误差在5% MAPE内、TPOT在8%内，12个模型的性能分析GPU时较现有方法减少56.4%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。