架构感知强化学习让滑动窗口注意力在数学推理中具竞争力

RL 适配可改变仅凭转换与 SFT 对 SWA 数学推理可行性的判断

资讯摘要

论文提出 SWARR，一种将滑动窗口注意力（SWA）模型适配数学推理的两阶段方法：先用监督微调把预训练自注意力模型高效转换为 SWA，避免重新预训练；再用强化学习做策略适配。作者发现仅经 SFT 后 SWA 仍弱于 SA，推测部分源于数据与架构不匹配，而 on-policy RL 可让自生成轨迹更契合 SWA 约束。数学推理基准实验显示该方案明显缩小两者差距，并保留线性复杂度注意力的效率优势。

要点速读

1. SWARR 分两阶段：SFT 将预训练 SA 模型转换为 SWA，再用 RL 做策略适配
2. 作者发现仅 SFT 后 SWA 仍落后于 SA，推测与 SFT 数据多为 SA 准备、含 SWA 难建模的长程依赖有关
3. 数学推理基准上，该方案缩小 SWA 与 SA 的差距，恢复转换中损失的较多准确率，同时保留线性复杂度效率

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。