评分标准语言与句式会改变LLM评审的判定一致性。
资讯摘要
论文研究韩语客服对话中，评分标准的语言（韩语/英语）与条款句式是否影响LLM评审的判定。作者用四种句式（肯定、否定、条件、例外）编写12条标准，其中两对句式语义相同，并分别以韩英双语呈现；六个低成本模型加一个参考模型对60段翻译ESConv对话和144个构造边界案例进行评审，共51,744次请求，分析方案在收集数据前已固定。结果显示韩语标准下跨供应商一致性低于英语（Cohen's kappa 0.687 vs 0.745），分歧集中在否定、条件与例外条款，同一模型对语义相同条款的判定有11–15%不一致；同供应商模型一致性更高、加入配对示例缩小语言差距这两个假设未获支持。
要点速读
- 韩语评分标准下跨供应商一致性低于英语标准（Cohen's kappa 0.687 vs 0.745，差值-0.058，95% CI [-0.072,-0.045]）
- 分歧集中在否定、条件与例外条款，相对肯定条款的比值比为5.6
- 同一模型对语义相同的两条标准有11–15%的判定不一致；同供应商一致性更高、配对示例缩小语言差距两个假设未获支持
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。