尼泊尔语TTS基准显示自动评分与母语听者偏好不一致。
资讯摘要
论文提出NepTTS-Bench,一个面向尼泊尔语TTS的受控评测基准,包含205句、覆盖送气、卷舌/齿音、鼻化、辅音延长与schwa删除等音系对比的句子,由180名说话者给出6962条评分,覆盖10种TTS配置和两个人类参考。作者还评测7个ASR系统的往返CER,并以SCOREQ作自动基线。结果显示SCOREQ偏好ElevenLabs等专有系统,而母语听者更偏好Piper;作者认为部分系统未针对尼泊尔语调优,表现出印地语音系行为。论文同时发布在评分上微调的NepaliMOS预测器,系统级rho为0.90,留一系统评估下句级rho降至0.43,并发布Python评测包。
要点速读
- 基准含205句、180名评分者、6962条评分,覆盖10种TTS配置与两个人类参考。
- 自动指标SCOREQ偏好ElevenLabs等专有系统,母语听者却更偏好Piper。
- NepaliMOS系统级rho=0.90,留一系统评估句级rho=0.43,跨系统迁移有限。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。