ODC 在推理阶段校正文生图语义漂移,作者报告对齐指标提升。
资讯摘要
论文提出正交漂移校正(ODC),一种无需重训模型或额外用户输入的推理阶段引导方法,用于缓解文生图模型的语义漂移。ODC 分两阶段:先在共享视觉-语言嵌入空间比较首轮生成图与提示词,提取与提示方向正交的漂移分量并经词表代理机制回译为文本;再将初始文本嵌入与重嵌入的漂移表示送入自适应降秩概念移除模块,生成第二轮条件。作者报告在 COALBench-300 和 PartiPrompts 上 CLIP 分数较基线最高提升 5.4%,在 T2I-CompBench 复杂子集上 3-in-1 平均分提升 4.5%,代码已开源。
要点速读
- ODC 为推理阶段方法,无需重训模型或额外用户输入,可作为即插即用模块。
- 两阶段流程:先定位正交漂移分量并回译为文本,再经降秩概念移除模块生成精炼条件。
- 作者报告 CLIP 分数最高提升 5.4%,T2I-CompBench 复杂子集 3-in-1 平均分提升 4.5%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。