七种Transformer能力理论接受实证检验

七种Transformer理论均无法单独解释实验中的成败模式。

资讯摘要

论文梳理了Star-free、AC⁰、TC⁰、C-RASP、MPC、BAPO与Sensitivity七种Transformer能力理论，将其预测统一映射到一组覆盖不同计算结构的任务矩阵，并补充新的理论结果。作者通过分布内样本复杂度、长度泛化和预训练语言模型表现开展受控实验，发现没有单一理论能解释全部成功与失败模式：例如C-RASP因未建模内容相关注意力而预测k-hop归纳任务困难，但小型Transformer在该任务上实现了长度泛化。

要点速读

1. 论文将七种Transformer能力理论的预测统一到共同任务矩阵，并补充新理论结果以补全矩阵。
2. 受控实验从分布内样本复杂度、长度泛化和预训练语言模型表现三方面检验理论预测。
3. 作者报告C-RASP预测困难的k-hop归纳任务、AC⁰与BAPO预测困难的二元多数任务，在实践中均被小型Transformer完成。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。