论文提出SmoothScore量化LLM研究代理的结论平滑问题
资讯摘要
论文指出,LLM深度研究代理生成的报告看似自信综合,却未能准确反映原始文档,作者将这种失败称为“平滑”(smoothing):模型把多样甚至冲突的来源压缩成单一叙事,丢弃证据的“锯齿感”,给出比引用所能支持的更决断的结论。为此论文提出主张级评分流程SmoothScore,先抽取报告中的关键结论性主张,再检索相关证据并按高层方面聚类,最后逐条评分以量化平滑程度。作者报告在7个系统和4个数据集上,代理一致给出超出证据支持强度的主张。
要点速读
- 论文将LLM研究代理报告偏离原始文档的现象称为smoothing(平滑)
- 提出SmoothScore流程,按主张抽取、证据检索聚类、逐条评分量化平滑程度
- 作者报告在7个系统、4个数据集上,代理均产出比证据支持更强的主张
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。