论文提出首个可控说话风格描述基准,并评测九个音频语言模型。
资讯摘要
论文将说话风格描述(SSC)定义为指令跟随的音频语言任务,由指令指定需描述的风格维度,并提出首个标准化基准 StyleInstructCaps,包含数据集与评估框架,衡量元数据依据性、幻觉、指令跟随、对未见指令与音频数据集的泛化及说话人风格一致性。作者报告在九个先进音频语言模型上,强指令跟随能力不一定意味着有依据的说话风格理解,而针对 SSC 的指令多样化训练可显著提升依据性、可控性与说话人一致性。
要点速读
- 论文提出 StyleInstructCaps,称其为音频语言模型可控说话风格描述的首个标准化基准,含数据集与评估框架。
- 评估维度包括元数据依据性、幻觉、指令跟随、对未见指令和音频数据集的泛化、说话人风格一致性。
- 作者报告在九个先进音频语言模型上,强指令跟随能力不一定对应有依据的说话风格理解;SSC 专用指令多样化训练可提升依据性、可控性与说话人一致性。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。