新基准显示模型在真实引用图上长链推理常提前停止搜索。
资讯摘要
论文提出 GraphNIAH，一个基于被评测模型知识截止日期之后发表的论文真实引用关系构建的动态基准，用自动化流程抽取引用图子图并转为可验证答案的长上下文问答，以避免合成数据、数据复用和人工标注带来的污染。作者用该基准评测 GPT-5.6、Gemini-3 和 Qwen3.5 系列的八个模型，报告称问题深度达 16 和 32 时，GPT-5.6 与 Qwen3.5 模型回答 YES/NO 问题不优于随机猜测，且多倾向回答 NO。
要点速读
- GraphNIAH 使用模型知识截止日期后论文的真实引用关系构建，作者称可避免基准污染。
- 基准构建流程全自动：采样引用图子图并转换为带可验证答案的长上下文问答。
- 作者报告在深度 16 和 32 时，GPT-5.6 与 Qwen3.5 模型回答 YES/NO 问题不优于随机猜测，八个模型中有四个未答对计数示例。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。