新基准 VLME 要求助手记住说话方式而非仅文字内容
资讯摘要
论文提出 VoiceLongMemEval（VLME）基准，要求模型依据对话轮次附带的副语言元数据（情绪标签、韵律描述、语音事件）作答，这些信息无法仅从文字中恢复。每个条目需通过三阶段对抗性筛选，确保强语言模型仅凭转写文本会失败。作者报告前沿与开源模型普遍存在“情感鸿沟”：提供文本轨副语言元数据可带来 0.09 至 0.38 的准确率提升，标准 ASR 流程会系统性丢弃该信号，而音频原生模型可直接从语音中提取线索。
要点速读
- VLME 的每个答案都依赖情绪标签、韵律描述和语音事件等副语言元数据，仅凭文字无法还原。
- 作者报告提供文本轨副语言元数据后准确率提升 0.09 至 0.38，标准 ASR 流程会丢弃这类信号。
- 音频原生模型直接从语音提取线索的得分为 0.354 至 0.412，高于盲测的 0.325。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。