回到最新动态
交叉发布 / THE SIGNAL

音频大模型语音情感识别的不一致评估

Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models

重要性 5.0 AI 辅助整理

论文提出无阈值不一致分数,发现音频大模型在音文冲突时更易出错。

资讯摘要

论文提出一种无需阈值的“不一致性”评分:将文本与音频映射到共享的效价-唤醒-支配空间,用双分量高斯混合把两者距离转为连续分数,并以人工判断验证。作者在 eNTERFACE'05、MELD、CMU-MOSEI 上评估三个音频大模型,报告在控制真实情感与特征空间距离后,只要音频存在,不一致性都会提高出错几率;同特征训练的监督分类器表现相反。

要点速读

  1. 方法:把文本和音频映射到共享的效价-唤醒-支配空间,用双分量高斯混合将两者距离转为连续、无阈值的不一致分数,并用人工判断验证。
  2. 结果:在 eNTERFACE'05、MELD、CMU-MOSEI 三个语料上,控制真实情感和特征空间距离后,不一致性在音频存在时提高模型出错几率;同特征监督分类器方向相反。
  3. 作者报告仅文本效应不可靠,替换读取转录的模型会在一个语料上反转符号;去掉情感词典重建分数仍复现核心结果,代码、数据表和提示词已发布。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开