MG-REPA：面向生成式目标说话人提取的多粒度表示对齐

MG-REPA 用帧级与句级双粒度对齐加速生成式 TSE 训练收敛。

资讯摘要

论文针对生成式目标说话人提取（TSE）训练收敛慢的问题，提出多粒度表示对齐方法 MG-REPA：在帧级对齐自监督学习（SSL）模型，在句级对齐说话人验证模型，并对帧级目标做时间归一化以去除句级统计量。作者报告在 Libri2Mix 上，MG-REPA 达到 MeanFlow-TSE 基线的 OVRL 和 PESQ 分别少用 3.0 倍和 2.1 倍 epoch；训练 750 epoch 时在侵入式指标上与已发表的 2000 epoch 基线相当，并改善非侵入式指标。消融实验显示其优于单粒度对齐。

要点速读

1. 提出 MG-REPA，在帧级对齐 SSL 模型、句级对齐说话人验证模型，并对帧级目标做时间归一化。
2. 作者报告在 Libri2Mix 上达到 MeanFlow-TSE 基线的 OVRL 和 PESQ 分别少用 3.0 倍和 2.1 倍 epoch。
3. 训练 750 epoch 时侵入式指标与已发表 2000 epoch 基线相当，非侵入式指标提升；消融显示优于单粒度对齐。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。