MERP：面向多模态多标签情感识别的潜在瓶颈框架

MERP 用固定潜在表示提升模态缺失下的情感识别鲁棒性。

资讯摘要

论文提出 MERP（Multi-modal Emotion Recognition Perceiver），将文本、视觉、声学联合序列映射为固定大小的潜在表示库，使推理不依赖原始输入长度，并通过重建对齐潜在推理前后的标签特定证据。方法还引入正负类原型、带频率扰动且噪声门控的特征增强器，以及置信度感知的类级融合。作者报告在测试时随机缺失 20% 模态下，CMU-MOSEI 与 M3ED 的 micro-F1 分别为 0.563 和 0.780；CMU-MOSEI 仅音频的严苛设置下保留 0.473，对比 LDDU 的 0.022。代码已公开。

要点速读

1. MERP 将多模态联合序列压缩为固定大小潜在库，推理开销不随输入长度增长。
2. 训练使用正负类原型、噪声门控特征增强与置信度感知类级融合，以应对部署时模态缺失。
3. 作者报告 20% 随机模态缺失下 CMU-MOSEI micro-F1 0.563、M3ED 0.780；CMU-MOSEI 仅音频设置保留 0.473。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。