论文报告LLM与人类标注在编码文本上观察等价，分歧源于文本与规则歧义。
资讯摘要
一篇论文在14项政治学研究的文本分类任务上，让13个LLM、3名博士人类编码员和165名众包编码员使用同一编码手册独立标注。作者报告，LLM与认真人类的一致率与人类之间相当，跨LLM分歧集中于同样让人分歧的文本；细化不明确的编码手册可提升一致性。论文据此认为文本与规则歧义是分歧的共同来源，并提出用跨LLM分歧识别难例、指导人工复核，以及无需逐条真值的歧义感知推断边界。
要点速读
- 复现14项同行评审政治学研究任务，13个LLM、3名博士编码员与165名众包编码员使用相同编码手册独立标注
- 作者报告LLM与认真人类的一致率与人类之间相当，跨LLM分歧集中在同样让人分歧的文本
- 细化不明确的编码手册可提高人类之间及人机之间的一致性；论文提出用跨LLM分歧识别难例并给出歧义感知的推断边界
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。