论文提出TRAILS分类法：诊断LLM证据合成评估的失败机制

论文提出TRAILS分类法，列出38种LLM评估判断失败机制。

资讯摘要

论文针对LLM辅助证据合成中的“阅读-评估”任务（如研究筛选、数据提取、偏倚风险评估），提出TRAILS分类法（Taxonomy of Reliability And Instability in LLM-assisted evidence Synthesis）。该分类法围绕两个问题展开：同一任务在重复运行中为何产生不同判断，以及哪些机制会系统性影响判断而无法从结果本身察觉。作者列出38种机制，并给出各机制适用的部署场景、测试方法与缓解策略，同时指出重复性或准确性并不能排除隐藏的判断失败。

要点速读

1. 论文提出TRAILS分类法，用于识别LLM阅读-评估任务中判断不可靠或不稳定的机制。
2. 分类法列出38种机制，并说明每种机制可运作的部署设置、测试途径与缓解策略。
3. 作者指出，判断正确或可重复并不代表评估过程可靠，人工评估应检查判断是否有来源证据支撑、是否受不当外部影响、过程是否可核查。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。