把文本工具调用基准转成语音评测的框架

文本工具调用基准可转成可复现的语音评测，模型表现因任务而异。

资讯摘要

论文提出一个与数据集无关的框架，用文本转语音、说话人变化和环境噪声，把已验证的文本工具调用基准转成配对的文本-音频实例，并保留原有标注。作者在 Confetti 和 When2Call 的音频版上评测 7 个全模态模型，发现表现高度依赖模型与任务：Gemini-3.1-Flash-Live 在 Confetti 得分最高（70.4），GPT-Realtime-1.5 在 When2Call 最好（71.9）。失败分析显示，性能下降多源于对语音中参数值的误解。

要点速读

1. 框架通过 TTS、说话人变化和噪声生成配对文本-音频实例，无需重新标注工具 schema 与金标。
2. Confetti 上文本到语音的差距从 Qwen3-Omni 的 1.8 分到 GPT-Realtime-1.5 的 4.8 分。
3. 作者报告至少 8B 参数的开源 Qwen3 评判模型与专有评判模型一致率超过 80%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。