自回归语音克隆TTS模型的可解释声学特征研究

论文用SAE等方法分析语音克隆TTS内部声学特征。

资讯摘要

论文提出面向自回归语音克隆TTS模型的特征可解释性框架，用稀疏自编码器（SAE）、PCA和随机方向，通过稀疏探针、引导与自动可解释性分析特征。研究以Qwen3-TTS为主，并扩展到另外5个模型检验跨架构泛化。作者报告这些模型编码音高、能量、噪声、口音等概念，但稀疏预测与引导仅对部分概念有效；探针强不代表引导强。SAE适合稀疏探针与新概念发现，PCA在稠密探针和引导上具竞争力；自动可解释性在Qwen3-TTS中找到684个自动验证的SAE特征，涵盖说话人聚类、说话风格与录音条件。

要点速读

1. 论文提出基于SAE、PCA和随机方向的特征可解释性框架，分析自回归语音克隆TTS模型。
2. 以Qwen3-TTS为主并扩展到5个模型，作者报告模型编码音高、能量、噪声、口音等概念，但稀疏预测与引导仅对部分概念有效。
3. 自动可解释性在Qwen3-TTS中找到684个自动验证的SAE特征，涉及说话人聚类、说话风格与录音条件。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。