对齐损失在高非指称率下提升描述模型的词图对齐。
资讯摘要
论文提出 GAVAGAI，将每个场景视为听到的内容词与看到区域之间的小型分配问题，用带两项约束的熵最优传输求解：词可分配到 NOTHING 列，以处理看护语中多数内容词并不指称可见物的情况；每个区域接收的分配质量有上限，以编码互斥性。对齐步骤约需八次 Sinkhorn 迭代。在 SAYCam 婴儿视频语料上，将对齐损失加入下一词描述模型后，词到图准确率从 32.4% 升至 48.7%，定位 IoU 从 0.18 升至 0.38。
要点速读
- 方法把词与区域的指称关系建模为分配问题，用熵最优传输求解，并加入 NOTHING 列与区域容量两项约束。
- 模拟中，强制每个词对应某区域的朴素行 softmax 在真实非指称率下词图准确率降至 0.000，低于仅用描述目标的 0.058；两项约束版本为 0.075，干净输入下为 0.700。
- 在 SAYCam 语料上，对齐损失使词到图准确率由 32.4% 升至 48.7%，定位 IoU 由 0.18 升至 0.38；作者称同一儿童数据训练的对比模型在其自身基准上仍更强。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。