历史案例的决策标签与事实对LLM审批的影响方向相反。
资讯摘要
论文研究语言模型依据书面政策处理退款或理赔请求时，展示相似历史案例的影响。作者将历史案例拆分为事实与记录决策两部分，固定请求后分别改动。结果显示，当历史案例与请求近乎相同，仅把记录决策从DENY改为APPROVE，DeepSeek V4.1 Flash、GPT-5.6 Luna和Claude Haiku 5.5的批准率提升约30至55个百分点；而仅展示支持批准的事实，反而使批准率下降。作者建议检索历史决策的系统应分别测试这两部分。
要点速读
- 实验选取无历史案例时模型多次尝试结果不一的临界请求，分别改动历史案例的记录决策或事实。
- 近乎相同案例的决策由DENY改为APPROVE后，三个模型在自编政策上批准率提升约30至55个百分点，DeepSeek与Luna在九个改写自真实政策的公开政策上表现相同。
- 仅展示支持批准的事实会使批准率下降；DeepSeek分析中该效应在人类标注为可批准与可拒绝的请求上估计规模相近。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。