Raincheck：多轮多模态推理的延迟预填充框架

延迟预填充可在剪枝后逐步补回未选 token，挽回部分质量损失。

资讯摘要

论文提出 Raincheck 框架，用于多轮多模态大模型推理中的延迟预填充：先用现有剪枝方法选出初始预填充 token，再在解码阶段利用空闲算力按源顺序逐步预填充未选中的 token，并通过注意力可见性控制与仿射状态映射支持生成开始后的上下文更新。作者在 Qwen3-VL-8B 与 Qwen3.5-9B 上以 30% 初始多模态 token 保留率测试，报告在 MultiVerse 和 ConvBench 上分别平均挽回硬剪枝所损失质量的 77.7% 和 60.4%。

要点速读

1. Raincheck 将初始 token 选择与后续信息可用性解耦，未选中 token 在解码阶段按源顺序渐进预填充。
2. 在 Qwen3-VL-8B 和 Qwen3.5-9B、30% 初始多模态 token 保留率下，跨两种模型和四种剪枝方法，MultiVerse 与 ConvBench 上分别平均挽回 77.7% 和 60.4% 的质量损失。
3. SGLang 实现在 MultiVerse 上使首轮平均 TTFT 较完整预填充最多降低 24.1%，平均每输出 token 时间（TPOT）增幅低于 0.5%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。