CogBattery：以人类数据为参照评估语言模型的认知任务行为

复现人类效应方向不等于具备类人行为。

资讯摘要

论文提出 CogBattery，用 13 个认知范式的文本改编版评估 54 个开放权重语言模型，并与原始研究的人类数据逐条件对比。作者报告：模型与人类一样对 n-back 诱饵更敏感，但在普通非目标项上误报远多于人类；多数模型的置信度区分正误的能力弱于人类，且下注选择单一。模型得分跨任务呈两个维度，其一与规模相关，但更大模型未必更接近人类。

要点速读

1. CogBattery 覆盖 54 个开放权重模型与 13 个认知范式，按条件对照人类数据。
2. 模型在普通非目标项上的误报率远高于人类，置信度对正误的区分弱于人类。
3. 模型得分可归纳为两个维度，其一与规模相关，但更大模型并不稳定更接近人类。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。