论文发现预填充能耗随输入长度呈二次方增长。
资讯摘要
论文针对智能体架构下LLM token消耗上升、专有API模型能耗难估算的问题，系统测量了不同预填充（输入）与解码（输出）token长度下的计算时间和能耗。作者用广义线性模型发现，解码阶段的计算时间与能耗随输出长度线性增长，预填充阶段则随输入长度呈线性与二次方增长，说明大上下文工作负载中输入上下文不可忽视。论文还提出计算时间可作为能耗的可靠代理指标，并给出可精确估算能耗的映射框架。
要点速读
- 论文系统测量了不同预填充与解码token长度下的计算时间和能耗。
- 作者报告解码阶段计算时间与能耗随输出长度线性增长，预填充阶段随输入长度呈线性与二次方增长。
- 论文提出计算时间可作为能耗的可靠代理指标，并给出能耗估算映射框架。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。