内容敏感的记忆约束比距离约束更贴合人类阅读时间。
资讯摘要
论文比较了Transformer注意力机制中多种记忆约束对拟合人类阅读时间的效果，覆盖不同模型规模与训练语料，并评估心理测量预测力与语法能力。作者报告，对中间token内容敏感的约束与人类阅读时间对齐最好，优于基于距离的约束；动态记忆课程下心理测量拟合与语法能力出现分离，说明Transformer难以充当通用认知模型。
要点速读
- 论文系统比较多种基于注意力的记忆机制，跨模型规模和训练语料评估对人类阅读时间的心理测量预测力及语法能力。
- 作者报告内容敏感型约束与人类阅读时间对齐最好，优于距离型约束。
- 动态记忆课程下心理测量拟合与语法能力出现分离，作者据此认为Transformer不能作为通用认知模型。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。