回到最新动态
研究论文 / THE SIGNAL

语音对话系统提前工具调用研究

Heard Enough to Act: Early Tool Calling in Spoken Dialogue Systems

重要性 5.5 AI 辅助整理

论文用最早可执行点监督让语音代理边听边调用工具。

资讯摘要

论文提出语音对话中“最早可执行点”监督,即请求在语音流中何时已足以确定工具及参数,而非等整轮结束。作者构建合成语音对话管线,生成48个领域、26,694段对话共786小时数据,并制作τ²-bench音频版用于外部评测。基于该语料训练的全模态模型在留出对话与外部基准上工具状态宏F1分别为0.48和0.47;对正确调用,作者报告相对轮末级联方案平均提前1.8–2.0秒(域内)和1.1秒(τ²-bench)。

要点速读

  1. 论文定义并标注语音请求的“最早可执行点”,用于在听到足够信息时即触发工具调用。
  2. 作者构建26,694段、786小时、48领域的合成语音对话数据,并制作τ²-bench音频渲染用于外部评测。
  3. 训练的全模态模型工具状态宏F1为0.48(留出集)和0.47(τ²-bench),正确调用相对轮末方案提前约1.8–2.0秒和1.1秒。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开