Uni-LaSpec 按 GPU 负载动态分配推测解码验证，提升 VLM 推理吞吐
资讯摘要
论文提出 Uni-LaSpec，一种块并行推测解码框架，用于加速视觉语言模型推理且不改变输出分布。它复用验证器注意力，从缓存中选取少量 int8 量化视觉 token 供草稿模型融合，并按 GPU 负载动态选择验证结构。作者报告在六个 VLM、17 个基准上，选 8 个视觉 token 可保留至少 98.6% 的接受率，单并发贪心解码下文本吞吐最高 5.11 倍、多模态 3.24 倍。
要点速读
- 复用验证器注意力对缓存视觉键排序，跨层投票选出少量视觉 token，经门控交叉注意力融合
- 按边际成本逐请求、逐轮选择验证结构：轻载用草稿树，重载用动态头截断线性草稿
- 作者报告在六个 VLM、17 个基准上，8 个视觉 token 保留至少 98.6% 接受率；144 种设置中 123 种不劣于最佳固定验证策略
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。