论文提出 RATE 评估协议与专家数据集，指出机器翻译准确度或已超人工但流畅度仍落后。
资讯摘要
论文指出，随着机器翻译接近人类水平，MQM、ESA 等现有金标准评估方法难以发现细微错误，存在标注者水平不一、分类过繁、严重度粒度粗、偏重准确度而忽视流畅度等问题。作者基于 WMT24 英俄翻译构建专业语言学家人工评估数据集，提出 RATE 协议，简化错误分类、扩展严重度等级并采用兼顾准确度与流畅度的多维评分。作者报告，专家在无时间压力下的评估与标准评估差异明显，并称当前先进系统在准确度上可能已超过人工译文，但流畅度仍落后。
要点速读
- 论文批评 MQM 与 ESA 存在标注者水平差异、分类复杂、严重度粒度粗及准确度偏置等局限。
- 作者构建 WMT24 英俄翻译的专业语言学家评估数据集，并提出 RATE 协议：简化错误分类、扩展严重度等级、多维评分。
- 作者报告，无时间压力的专家评估与标准评估结果差异显著，先进系统准确度或已超过人工译文，但流畅度仍落后。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。