回到最新动态
交叉发布 / THE SIGNAL

多模态模型对等价光谱的判定是否一致

Do Multimodal Models Decide Consistently on Equivalent Optical Spectra?

重要性 5.5 AI 辅助整理

仅改变光谱表示方式,同一模型准确率可差41个百分点。

资讯摘要

论文测试多模态模型在等价表示下判定是否一致:同一光谱以纳米、微米、科学计数法表格及纳米、电子伏特图表呈现,并考察缺失证据时能否回答“无法确定”。作者报告,仅改变表示方式即可使同一模型准确率变动最多41个百分点;相关极值被移除后,未经适配的模型很少选择“无法确定”。对d3-nano做LoRA微调可改善已训练表格格式上的比较,但其弃答增益部分来自“输入被截断即弃答”的捷径;用可回答的截断数据训练可在六个随机种子中避免该捷径。

要点速读

  1. 同一光谱以四种表格和两种图表呈现,仅换表示即可让同一模型准确率变动最多41个百分点,主要出现在电子伏特表格与图表上。
  2. 相关极值被移除时,未经适配的模型很少回答“无法确定”。
  3. d3-nano的LoRA微调在已训练表格格式上改善比较,但弃答增益部分来自输入截断即弃答的捷径;用可回答截断训练可在六个种子中避免该捷径。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开