CLEAR：耦合局部证据与情感表征的对话情绪识别框架

CLEAR 用 VLM 内部表征替代生成标签做对话情绪识别。

资讯摘要

论文提出 CLEAR 框架，用于对话中的多模态情绪识别（ERC）。作者指出，主流方法依赖多模态大语言模型生成情绪标签，但情绪理解与标签预测可能不一致，内部情感信息未被充分利用；同时，目标话语与大量对话历史联合建模时，其局部判别线索会被稀释。CLEAR 改用情感监督视觉语言模型的连续内部表征并训练分类器，并以样本自适应残差耦合将目标话语的文本与声学证据动态融入上下文表征。在 IEMOCAP 与 MELD 上的实验显示其表现具有竞争力。

要点速读

1. 论文指出，MLLM 生成情绪标签的方式存在情绪理解与标签预测不一致的问题，内部情感信息利用不足。
2. CLEAR 使用情感监督 VLM 的连续内部表征替代生成标签，并基于该表征训练分类器。
3. 采用样本自适应残差耦合，将目标话语的文本与声学证据动态融入上下文表征；在 IEMOCAP 和 MELD 上取得有竞争力的结果。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。