调整训练数据格式位置对齐即可弥合受控设定下的组合性差距。
资讯摘要
论文研究GPT-2类Transformer在受控两跳推理中的组合性差距：模型在分布内能正确组合已知事实，但迁移到分布外知识时失败。作者基于已有组合泛化电路研究，调整训练分布，使分布内与分布外原子事实的呈现格式与第二跳检索步骤位置对齐，不改架构、不加分布外组合监督。作者报告模型成功将分布内组合行为迁移到留出的分布外事实，在该受控设定下弥合差距。
要点速读
- 论文在从头训练的GPT-2类模型上考察两跳推理中的组合性差距。
- 干预仅改变训练分布中原子事实的呈现位置，使其与已学组合电路的第二跳检索对齐。
- 作者报告模型由此将分布内组合行为迁移到留出的分布外原子事实，未改架构或增加分布外组合监督。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。