论文揭示音视频大模型内部音视频信息的路由与可丢弃性。
资讯摘要
一篇论文考察音视频大语言模型（AVLLM）内部的信息流动，追踪音频与视觉 token 如何被路由、利用和整合。作者发现，在音视频视频输入下，模型沿用视觉语言模型与视频大模型的顺序信息流路径，音视频贡献按任务对各模态的依赖比例分配；在多段交错音视频条目下，路由转为并行流。论文还显示，信息转移至 LLM 后丢弃这些 token 对预测影响很小甚至略有提升，可提升推理效率，结论在 Qwen2.5-Omni 与 Video-SALMONN2 Plus 的 3B、7B 规模上成立。
要点速读
- 论文追踪 AVLLM 中音频与视觉 token 的路由与整合方式，覆盖音视频视频和多段交错音视频两种输入配置。
- 音视频视频输入下沿用 VLM/VideoLLM 的顺序信息流路径，贡献按任务模态依赖比例分配；交错输入则转为并行流。
- 作者报告信息转移后可丢弃音视频等 token，预测影响极小甚至略好，并在 Qwen2.5-Omni、Video-SALMONN2 Plus 的 3B/7B 规模上验证。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。