LearnPrunerV2 用逐层可学习模块与固定预算剪枝视觉 token。
资讯摘要
论文提出 LearnPrunerV2，将此前两阶段启发式框架 LearnPruner 扩展为全可学习架构：在 VLM 主干每一层加入轻量可学习模块，融合视觉显著性与通过 shadow token 捕捉的查询相关性来估计 token 重要性；并基于层间冗余呈阶梯式规律，引入 Budget-Deterministic Pruning（BDP）设定固定逐层预算。作者报告在多个基准与 VLM 上优于此前最优方法，在 LLaVA-v1.5 上剪掉 77.8% 视觉 token 时保留 99.8% 原始性能。
要点速读
- 方法在 VLM 每层集成轻量可学习模块，融合内在视觉显著性与 shadow token 捕捉的外在查询相关性来评估 token 重要性。
- 作者发现 VLM 各层存在一致的阶梯式冗余模式，据此提出 Budget-Deterministic Pruning，给出固定逐层预算的硬件友好调度。
- 作者报告在多个基准和 VLM 上稳定优于此前最优方法；在 LLaVA-v1.5 上剪枝 77.8% 视觉 token 时保留 99.8% 原始性能。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。