论文用人类判断衍生的语义维度对齐多模态大模型
资讯摘要
论文提出一种框架，将多模态大模型与人类相似性判断背后的多维心理表征对齐。研究基于由470万次人类Odd-One-Out判断构建的66维可解释语义嵌入空间，为每个三元组推断最显著的决策维度并生成维度依据的语言理由，使模型同时学习选择与理由。作者报告该方法提升了模型与人类相似性判断的一致性，在标准多模态基准上保持竞争力，并在fMRI自然场景数据集上观察到更高的表征对齐。
要点速读
- 论文基于470万次人类Odd-One-Out判断构建的66维可解释语义嵌入空间，为三元组推断最显著决策维度并生成语言理由。
- 作者报告模型与人类相似性判断的一致性提升，同时在标准多模态基准上保持竞争力。
- 在独立fMRI自然场景数据集上做searchlight RSA，观察到模型与人类表征对齐增强；代码已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。