流式语音识别可在转写中内联输出说话角色。
资讯摘要
论文提出 RoleHear，一种半监督流程，让单个带缓存的流式 transducer 通过词表内的角色 token 在转写中直接输出说话角色：先给出快速轮次边界标记，几个词后再给出对应角色 token。离线 transducer 教师模型被微调为角色标注识别器，用于重标注无标注音频；多模态大语言模型在缺少金标时提供银标角色标签，流式学生模型在混合数据上单次微调。作者在含金标角色的客服通话与含银标角色的财报电话上报告，该方法在保持转写质量的同时较准确标注角色，并缩小与离线教师的差距。
要点速读
- RoleHear 用词表内角色 token 让流式 transducer 在转写中内联输出角色，先标轮次边界再标角色。
- 离线教师模型重标注无标注音频，多模态大语言模型补充银标角色标签，学生模型单次微调。
- 作者在客服通话与财报电话上报告角色标注较准确、转写质量保持，并缩小与离线教师的差距。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。