PACE：面向原生多模态大模型的自适应视觉token压缩

PACE为原生MLLM设计视觉token压缩，低保留率下性能近无损。

资讯摘要

论文针对无ViT编码器的原生多模态大模型视觉token冗余问题，提出PACE压缩框架。作者分析发现冗余沿高、宽轴独立异质分布，且浅层视觉token难以区分、冗余均匀；PACE利用多模态RoPE的维度解耦，将注意力分解为高、宽两个方向的空间显著性估计，并以帕累托优化在性能、效率与空间覆盖间分配token预算。实验称在保留25%–50%视觉token时性能接近无损，部分基准提升，FLOPs降低超2倍。

要点速读

1. 论文指出原生MLLM直接对像素块token化，视觉token冗余严重，且比ViT类模型更能承受激进压缩
2. PACE将注意力分解为高、宽两个正交方向的空间显著性，并联合优化压缩深度与保留比例
3. 作者报告在25%–50%视觉token保留率下性能接近无损，部分基准提升，FLOPs减少超2倍

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。