新基准 ARCANA 显示远类比推理仍是 LLM 的开放难题。
资讯摘要
论文提出类比推理基准 ARCANA，要求把现实物体或物理现象映射为抽象网格变换，侧重跨领域远类比，区别于强调人类先验的 ARC-AGI。作者通过人类研究验证任务可被稳定解答，而多种大语言模型与人类存在明显差距并出现系统性失败模式。作者还提出基于概念滑移、内省与反思的 ConceptSIR 框架，实验称其能让标准 LLM 解决部分直接提示未能完成的难题。
要点速读
- ARCANA 要求从现实物体或物理现象做远类比映射到抽象网格变换，与 ARC-AGI 侧重人类先验不同。
- 人类研究显示任务可被可靠解答，多种 LLM 评测与人类存在明显性能差距。
- 作者提出 ConceptSIR 框架，实验称可使标准 LLM 解决部分直接提示未解的 ARCANA 任务。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。