回到最新动态
研究论文 / THE SIGNAL

多轮对话能力从文本迁移到语音吗?多语言平行基准

Do Multi-Turn Conversational Capabilities Carry Over from Text to Speech? A Parallel Multilingual Benchmark

重要性 5.5 AI 辅助整理

论文显示文本转写表现不能可靠代表多语言语音对话能力。

资讯摘要

论文提出 Omnilingua-AudioMC,这是 Audio MultiChallenge 的严格平行多语言扩展,含十种语言、354 段对话和 1,404 条评分项,文本与语音条件在内容、轮次结构和跨轮依赖上对齐。作者在六个语音语言模型上测试发现,从参考转写切换到直接语音输入后,表现差异强烈依赖模型和语言;转写表现相近的模型在语音下可能明显分化,跨语言相对优势也会变化。

要点速读

  1. 基准含十种语言、354 段对话、1,404 条评分项,文本与语音条件严格平行对齐。
  2. 六个语音语言模型上,文本转写表现不能可靠预测多语言语音对话能力,差距因模型和语言而异。
  3. 用模型生成转写替换历史用户轮次,对差距最大的两个模型在十种语言中均带来比替换当前轮更大的宏观提升。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开