论文发布每100毫秒采样的LLM GPU功耗时序开放数据集。
资讯摘要
论文提出LLM-PowerTrace,一个面向LLM微调与推理的开放数据集,按每100毫秒采样记录单块GPU的功耗时序,并附带完整的工作负载与系统元数据。数据集覆盖多种NVIDIA平台和开放模型家族,对微调与推理的多项参数做受控扫描;作者还基于功耗轨迹定义了面向电网的指标与AI算力功耗和能耗的缩放规律。
要点速读
- 数据集以100毫秒间隔采样每块GPU的功耗,覆盖多种NVIDIA平台,并附带工作负载与系统元数据。
- 微调侧覆盖不同模型规模与微调方法,并扫描批量大小、序列长度、精度、并行与检查点策略。
- 推理侧扫描并发、GPU频率、KV缓存与权重量化、提示与输出长度及请求到达模式。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。