统一流式语音模型可兼顾识别与合成，但语音与文本表征仍分离。
资讯摘要
论文提出 Uni-Stream，一个基于紧凑预训练语音模型的统一流式语音语言模型，以流式方式处理交错的文本与语音，同时支持语音识别与合成。作者报告经两阶段训练后，其性能与任务专用模型相当，并开发了流式训练数据标注流程，将公开生成的转写文本与词级时间戳。研究还分析跨任务、跨模态表征，发现语音与文本在统一架构下仍处于不同潜在特征空间，且各模态内部表征在后层更依赖任务。
要点速读
- Uni-Stream 基于紧凑预训练语音模型，以流式格式处理交错文本与语音，统一支持识别与合成。
- 论文称两阶段训练后性能与任务专用模型相当，并开发流式训练数据标注流程，将公开转写与词级时间戳。
- 表征分析显示语音与文本在统一模型中仍位于不同潜在特征空间，各模态内部表征在后层更任务相关。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。