LLM 评审对文件时效性的核查受记录缺失影响

修订记录不完整会显著削弱 LLM 评审对失效引用的检出。

资讯摘要

论文考察 LLM 评审依据修订记录判断引用文件是否仍有效时的表现。作者用 IETF RFC 索引中 48 组替换构造匹配答案，并移除部分记录链接。记录完整时评审几乎能查出所有被替换引用；链接缺失后，各模型仅凭文本的检出数明显高于依赖残缺记录，如 Gemini 3.1 Pro 为 23/24 对 1/24。将记录标注为未核实或不完整可恢复部分检出，但会带来误报。

要点速读

1. 研究基于 IETF RFC 索引的 48 组替换生成匹配答案，并移除 24 处记录链接。
2. 链接缺失时各评审仅凭文本检出更多：Gemini 3.1 Pro 23/24 对 1/24，GPT-5.5 23/24 对 9/24，Claude Opus 4.5 17/24 对 9/24，Gemma 4 26B 13/24 对 0/24。
3. 将记录标为未核实或不完整可恢复 Gemini、GPT-5.5、Claude 多数漏检，但恢复检出时更新误报也回升；Gemma 最多恢复 13 中的 5。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。