论文提出混合键合软硬件协同的MoE自推测解码框架。
资讯摘要
论文提出ELMoE-3D，一个基于混合键合（HB）的软硬件协同设计框架，将缓存加速与推测解码统一，以覆盖不同批大小下的本地MoE推理加速。作者识别出MoE的专家与比特两条内在弹性轴，联合缩放构建Elastic-SD，使其同时充当专家缓存与强对齐自草稿模型；并采用LSB增强的位切片架构原生支持位嵌套执行。作者报告在3D堆叠硬件上，批大小1–16时相对xPU上朴素MoE服务平均提速6.6倍、能效提升4.4倍。
要点速读
- 论文提出ELMoE-3D，基于混合键合的软硬件协同设计，统一缓存加速与推测解码。
- 作者利用MoE的专家与比特两条弹性轴构建Elastic-SD，兼作专家缓存和自草稿模型。
- 作者报告在3D堆叠硬件上批大小1–16时平均6.6倍加速、4.4倍能效提升。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。