HFCMA：分层细粒度跨模态对齐框架

论文用动态粒度发现加最优传输做图文细粒度对齐。

资讯摘要

论文提出分层细粒度跨模态对齐框架 HFCMA，用于图文检索。它先用动态粒度发现（DGD）把原始图像块和文本词元聚合成语义紧凑的视觉区域与文本短语，再把区域—短语匹配建模为熵正则化最优传输问题，在全局边缘约束下估计结构化对齐矩阵；并引入背景去偏、文本重要性加权和原型一致性正则。作者报告在 Flickr30K 和 MS-COCO 上，该框架在双编码器检索中结合了动态语义单元构建与基于最优传输的结构化匹配。

要点速读

1. 提出动态粒度发现（DGD），将原始图像块与词元聚合为自适应视觉区域和文本短语
2. 将区域—短语匹配表述为熵正则化最优传输问题，在全局边缘约束下估计结构化对齐矩阵
3. 引入背景去偏、文本重要性加权与原型一致性正则，作者报告在 Flickr30K 和 MS-COCO 上验证了有效性

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。