ReFINE：用下一序列预测强化快速权重模型

论文用序列级强化目标改进快速权重模型的长上下文能力。

资讯摘要

论文指出快速权重架构用循环更新的固定大小记忆替代 KV-cache，却仍沿用下一 token 预测（NTP）训练，存在记忆状态与 token 级监督不匹配的问题。作者提出下一序列预测（NSP）目标及 ReFINE 方法：按预测熵选取信息量高的 token 位置，生成多 token 展开并给出序列级奖励，用 GRPO 优化，可贯穿预训练后各阶段。在 LaCT-760M 与 DeltaNet-1.3B 上，作者报告其在长上下文检索、问答和 LongBench 任务上优于基于 NTP 的监督微调。

要点速读

1. 论文提出 NSP 序列级目标与 ReFINE 框架，用预测熵选位置、多 token 展开、序列级奖励和 GRPO 优化。
2. ReFINE 可用于 mid-training、post-training 与 test-time training 阶段。
3. 作者报告在 LaCT-760M 和 DeltaNet-1.3B 上，ReFINE 在 needle-in-a-haystack、长上下文问答及 LongBench 任务上优于 NTP 监督微调。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。