免训练剪枝按token角色分阶段保留，少量视觉token即可维持性能
资讯摘要
论文提出免训练视觉token剪枝框架BtsPruner，观察到视觉token在编码过程中由局部细节载体逐步转为全局引用代表，据此先按注意力集中度变化定位角色转换点，再从后期阶段选取全局代表、递归回溯早期阶段补充局部细节token。作者报告在LLaVA-1.5、LLaVA-NeXT、Qwen-VL、InternVL与CogVLM上实验，LLaVA-1.5-7B仅用576个视觉token中的32个（5.6%）即保留稠密模型91.6%的性能，LLaVA-NeXT-7B上CUDA延迟最高加速5.95倍。
要点速读
- 论文观察到视觉token随编码推进从局部细节载体过渡为全局引用代表，并据此设计角色感知剪枝
- BtsPruner为免训练方法，在固定预算下同时保留全局代表与回溯得到的局部细节token
- 作者报告LLaVA-1.5-7B用5.6%视觉token保留91.6%性能，LLaVA-NeXT-7B延迟最高加速5.95倍
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。