实验显示用户会高置信度采纳自信LLM的错误信息。
资讯摘要
论文提出反向问题：当LLM自信、前后一致却出错时，用户是否会顺从它。作者用同一模型（GPT-5-mini）构建五个助手，将事实按0%至100%替换为看似合理的错误信息，32名参与者完成104次测验、1040个答案。结果显示得分从7.4降至2.9（满分10），被植入的错误选项在伪造条目中被选中的比例为60%，正确教学条目为11%（比值比12.5）。
要点速读
- 论文报告：助手陈述错误信息时，约65%的情况下被参与者采纳，且各伪造比例下均如此；被吸收的错误以8.4/10的高置信度持有。
- 论文报告：区分正确与错误的置信度判别力从AUROC 0.70降至随机水平，任务后的信任评分几乎未变；助手本身几乎不迎合，也未在反驳下让步。
- 作者提出基线校正的Human Deference Index，主张可信度是人机配对的属性，迎合评估应测量双向，学习界面需逐条呈现可靠性。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。