注意力空间对比引导缓解LVLM幻觉

免训练单次前向的注意力层对比引导可缓解LVLM幻觉

资讯摘要

论文针对大型视觉语言模型（LVLM）中语言先验压过视觉证据导致的幻觉问题，提出免训练、单次前向的注意力空间对比引导方法 ACG。该方法在自注意力层内同时构造图像条件与近似纯文本注意力路径，并用轻量正交投影抑制与纯文本路径对齐的分量。作者报告在 CHAIR 和 POPE 上，ACG 相比现有免训练基线提升忠实度并保持描述质量，相比多遍对比解码延迟最多降低 2 倍。

要点速读

1. 论文提出 ACG，在自注意力层内构造图像条件与近似纯文本两条注意力路径，实现单次前向的对比引导。
2. 针对掩码替代路径带来的近似偏差，作者加入轻量正交投影，抑制与纯文本路径对齐的分量。
3. 作者报告在 CHAIR 和 POPE 上忠实度优于现有免训练基线，描述质量保持，延迟最多降低 2 倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。