FOCUS：面向高效视觉语言理解的闭环注意力反馈

FOCUS 用闭环注意力反馈把 VLM 调用减半且准确率略升。

资讯摘要

论文提出 FOCUS，一种无需训练的三层框架，用于降低视频视觉语言模型（VLM）的调用次数并引导每次调用关注重点。它先用同系列小模型在 patch 嵌入空间做帧间差异门控，仅在语义变化时触发突发采样；再融合 patch 差异与自上而下注意力先验生成空间焦点图，校准 VLM 的 value cache；每轮回答后把解码器文本到视觉的交叉注意力回传作为下一轮先验。在 EgoSchema 500 视频子集流式评测中，以 Qwen3-VL-8B 为统一骨干，FOCUS 用 25.4 次调用达到 74.8% 准确率，均匀采样与 BOLT 均为 55 次调用、分别为 74.6% 和 74.2%；四领域第一人称视频描述任务中质量与最佳基线相当，调用次数比均匀采样少 57%。

要点速读

1. FOCUS 为无需训练的三层框架，通过时间门控减少 VLM 调用，并用空间焦点图校准 value cache，不删除任何视觉 token。
2. 每轮生成后提取文本到视觉交叉注意力作为下一轮先验，形成闭环，使系统逐步收敛到语义重要区域。
3. EgoSchema 500 视频流式评测中，FOCUS 以 25.4 次调用达 74.8% 准确率；均匀采样和 BOLT 各用 55 次调用，准确率分别为 74.6% 和 74.2%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。