论文提出无阈值不一致分数,发现音频大模型在音文冲突时更易出错。
资讯摘要
论文提出一种无需阈值的“不一致性”评分:将文本与音频映射到共享的效价-唤醒-支配空间,用双分量高斯混合把两者距离转为连续分数,并以人工判断验证。作者在 eNTERFACE'05、MELD、CMU-MOSEI 上评估三个音频大模型,报告在控制真实情感与特征空间距离后,只要音频存在,不一致性都会提高出错几率;同特征训练的监督分类器表现相反。
要点速读
- 方法:把文本和音频映射到共享的效价-唤醒-支配空间,用双分量高斯混合将两者距离转为连续、无阈值的不一致分数,并用人工判断验证。
- 结果:在 eNTERFACE'05、MELD、CMU-MOSEI 三个语料上,控制真实情感和特征空间距离后,不一致性在音频存在时提高模型出错几率;同特征监督分类器方向相反。
- 作者报告仅文本效应不可靠,替换读取转录的模型会在一个语料上反转符号;去掉情感词典重建分数仍复现核心结果,代码、数据表和提示词已发布。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。