论文提出 RoSA 框架缓解长文本图文对齐中的显著性坍缩。
资讯摘要
论文指出长文本图文对齐中存在被忽视的“显著性坍缩”失效模式：模型过度依赖视觉上突出的文本，而利用不足非显著上下文，导致显著内容减少时检索性能骤降。作者提出 RoSA 显著性感知微调框架，将图文对分解为显著视图与上下文视图，结合物体级视觉显著性估计与基于 LLM 的文本分解，并用辅助目标显式对齐两种视图。作者报告 RoSA 提升长文本检索并增强对显著性坍缩的鲁棒性，辅助目标可即插即用。
要点速读
- 论文识别出“显著性坍缩”失效模式：模型过度依赖视觉突出文本、利用不足非显著上下文。
- RoSA 将图文对分解为显著与上下文互补视图，结合物体级视觉显著性估计与 LLM 文本分解。
- 作者报告长文本检索提升、对显著性坍缩更鲁棒，辅助目标可即插即用；代码与检查点已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。