多数翻译质量评估系统偏好习语直译而非意译。
资讯摘要
论文提出首个平行数据集，将含习语的英语句子与九种目标语言的直译和意译配对，并扩展为多句片段和分级直译程度。作者用该数据集评测 COMET、MetricX 系列共十一种传统质量评估指标，以及 Qwen-3、Gemma-4、OLMo-3 系列十个作为 GEMBA 式评判者的 LLM，发现多数系统存在明显直译偏好，倾向于给习语直译打更高分。
要点速读
- 论文构建首个含习语英语句子与九种目标语言直译、意译配对的平行数据集，并扩展为多句片段与分级直译程度。
- 作者评测十一种 COMET、MetricX 传统指标和十个 Qwen-3、Gemma-4、OLMo-3 系列 LLM 评判者，多数系统对习语直译评分高于意译。
- 仅 MetricX-24-Hybrid（XL、XXL）和 Gemma-4-31B 稳定给意译更高分，其中只有 Gemma-4-31B 能可靠区分中间程度的习语性与直译性。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。