论文提出ORBIT评估器系列，称以约1/20成本达专家水平。
资讯摘要
论文系统研究了指令设计、少样本示例、基座模型选择与多步流程对LLM机器翻译评估器的影响，在WMT24和WMT25英俄翻译上收集了新的专家RATE标注，并在五个额外语种对的MQM与ESA基准上做迁移验证。作者报告四项发现：指令结构影响评估器行为；高质量示例比数量更重要；前沿基座呈现召回、精确或排序等不同评估画像；融合多基座输出优于单评估器多次调用。作者据此提出ORBIT评估器系列，称最强配置在错误片段检测与准确度、流畅度排序上达到专家水平，成本约为人工标注的1/20。
要点速读
- 在WMT24、WMT25英俄翻译上收集新的专家RATE标注，并在五个额外语种对的MQM、ESA基准上验证迁移。
- 作者报告：指令结构塑造评估器行为，高质量示例比数量更重要，不同前沿基座呈现召回、精确或排序导向的评估画像。
- 融合多个不同基座模型的输出优于单一评估器多次调用；据此提出ORBIT系列，称最强配置在错误片段检测与准确度、流畅度排序上达专家水平，成本约为人工标注的1/20。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。