论文提出内存中心多芯粒架构 AMMA，报告注意力延迟较 H100 降 15.5 倍。
资讯摘要
论文提出 AMMA，一种面向长上下文注意力服务的多芯粒内存中心架构，用 HBM-PNM 立方体替代 GPU 计算裸片，以缓解解码阶段注意力受内存带宽限制的问题。作者报告其相较 NVIDIA H100 注意力延迟降低 15.5 倍、能耗降低 6.9 倍，并给出每立方体计算功耗与片内 D2D 链路带宽的设计空间探索。
要点速读
- 论文认为现有 LLM 服务系统以 GPU 为中心，与解码阶段注意力的内存受限特性不匹配，百万级上下文进一步放大延迟瓶颈。
- AMMA 以 HBM-PNM 立方体替代 GPU 计算裸片，约将可用内存带宽翻倍，并配套逻辑裸片微架构、两级混合并行与重排序集合通信流程。
- 作者报告相较 NVIDIA H100，注意力延迟降低 15.5 倍、能耗降低 6.9 倍，并给出每立方体计算功耗与片内 D2D 带宽的设计空间探索。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。