新基准 TRIAD 显示全模态模型场景级消歧仍大幅落后人类。
资讯摘要
论文提出 TRIAD 全模态歧义消解基准，每道题由文本、图像、音频三元组构成，三者齐备才能确定唯一答案，去掉任一模态则一致选项不再唯一。基准含 86 个场景组、327 道人工编写查询，覆盖 18 类歧义。作者报告评测 14 个全模态系统后发现，条目级表现强并不等于场景级消歧稳健，最佳模型组准确率仍落后人类 20 分以上；去掉选项后模型组准确率降至个位数。
要点速读
- TRIAD 每项为文本—图像—音频三元组加问题与选项，设计上去掉任一模态即无法唯一确定答案。
- 基准含 327 道人工编写查询、86 个场景组，覆盖三种模态的 18 类歧义。
- 作者报告 14 个全模态系统中最佳模型组准确率落后人类超 20 分，去掉选项后模型降至个位数，且系统常在文本图像存在时低估音频线索。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。