回到最新动态
交叉发布 / THE SIGNAL

PILOT:用特权推理探索改进多模态嵌入

Beyond Post-Hoc Rewards: Privileged Reasoning Exploration for Multimodal Embeddings

重要性 5.5 AI 辅助整理

关系监督更适合引导推理探索,而非仅作事后奖励。

资讯摘要

论文提出 PILOT 框架,将推理视为潜变量,用共享 MLLM 的两种推理模式分别实现先验与后验分布:先验仅依赖输入,后验借助训练时的关系证据引导推理探索,并通过重要性加权变分目标实现先验-后验协同演化。作者报告在 78 项任务的 MMEB-V2 上,2B 与 7B 模型总体得分分别提升 3.2 和 3.3 分,视觉文档检索提升最大。

要点速读

  1. PILOT 把推理建模为潜变量,先验只条件于输入,后验额外使用训练时关系证据。
  2. 作者提出重要性加权变分目标,并按效用与先验可达性将后验轨迹选择性迁移到先验。
  3. 在 MMEB-V2 的 12 个任务组上均优于主要基线,2B/7B 总体分别提升 3.2/3.3 分,视觉文档检索提升 6.1/6.4 分。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开