LLM流程经专家修订指令后提升判决信息抽取准确率
资讯摘要
论文提出一套基于LLM的流程，通过属性探索、文本片段抽取与取值归一化构建结构化数据集，并由法律专家迭代完善标注指令。作者在酒驾（DUI）与禁驾期驾驶（DDB）两类交通犯罪上评估：DUI的指令修订后正确抽取比例由52%升至70%，标注者一致性提高；同一模型重复运行的一致性高于与金标注的一致性，说明输出稳定不等于正确。DDB在固定类别与输出格式下多数属性一致性较高。
要点速读
- 流程包含属性探索、文本片段抽取和取值归一化，由法律专家完善标注指令引导
- DUI任务中修订指令后正确抽取比例从52%升至70%，人工标注者间一致性提高
- 同一模型重复运行彼此一致性高于与金标注的一致性；标注者与模型间分歧有助于发现指令不清之处
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。