LLM与人类在代词'they'数歧义消解上的对比

论文报告Kimi K3在'they'数歧义标注上准确率高于人类多数投票。

资讯摘要

论文比较LLM与人类在语言学标注任务中的表现：73名人类标注者与40多种LLM配置对Reddit上174个真实'they'用例进行数歧义消解。作者报告最佳模型Kimi K3准确率94.5%，高于人类多数投票86.2%和人类上半均值78.5%，仅一位人类标注者达95.7%。论文还指出LLM在成本与速度上有优势，但低一致性案例中人类推理能暴露标注类型学的不一致，因此主张保留人工监督。

要点速读

1. 论文设置受控标注任务，73名人类与40多种LLM配置标注174个Reddit真实'they'用例
2. 作者报告Kimi K3准确率94.5%，人类多数投票86.2%，最佳单个人类标注者95.7%
3. 论文称LLM在成本与速度上有实际优势，但低一致性案例显示人类推理可改进标注框架

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。