FVQ让离散视觉token在多模态理解上追平连续表示
资讯摘要
论文重新审视“量化误差必然导致语义损失”的假设，发现量化误差大小与多模态理解效果并不对应，离散索引的有效比特预算才是下游性能的关键。作者提出Factorized Vector Quantization（FVQ），用对称并行码本量化互补的固定维度视图，在更大比特预算下持续提升，最终在多模态理解上追平连续视觉表示。作者报告该模型在九项指标均值上超过UniAR和Emu3-Chat，并称其为首个可与Qwen3-VL等强连续表示模型竞争的离散表示模型。
要点速读
- 论文发现量化误差不可靠：误差更大的离散表示反而可能获得更好的多模态理解效果
- 作者提出FVQ，用对称并行码本量化互补的固定维度视图，缓解现有量化器随码本增加而饱和的问题
- 作者报告在工业级多模态数据训练后，九项指标均值分别超过UniAR 22.8%、Emu3-Chat 59.2%，并称在细粒度OCR任务上与Qwen3-VL等连续表示模型可比
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:20（北京时间）。