MoE-SpAc：异构边缘场景下基于推测激活效用的高效 MoE 推理

MoE-SpAc 用推测解码指导边缘 MoE 推理的内存管理，报告平均加速 4.04 倍。

资讯摘要

论文提出 MoE-SpAc，将推测解码用作内存管理的前瞻信号，而非仅作计算加速。框架包含推测效用估计器、异构负载均衡器和异步执行引擎，以统一预取与驱逐。作者报告在七个基准上相比 SOTA 推测解码基线 TPS 提升 42%，相比全部标准基线平均加速 4.04 倍，代码已开源。

要点速读

1. 论文将推测解码重新定位为内存管理的前瞻传感器，并给出理论与实证分析
2. 框架由推测效用估计器、基于在线整数优化的异构负载均衡器和异步执行引擎组成
3. 作者报告在七个基准上 TPS 较 SOTA 推测解码基线提升 42%，较全部标准基线平均加速 4.04 倍

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。