论文用轨迹收缩目标训练解掩码策略，在 LLaDA-8B 上改善准确率—NFE 前沿。
资讯摘要
论文对掩码扩散语言模型的学习型解掩码策略做受控研究，分别考察教师标注哪些预测可提交、策略在何种状态上模仿、策略观察什么输入，以及需降低多少函数评估次数（NFE）才能抵消策略开销。作者发现，以最终输出为标签在低 NFE 下过于宽松，隐藏状态单独使用较弱但可补充置信度；约 10% 的 NFE 降幅即可抵消最多 7.5M 参数策略的开销。据此作者提出轨迹收缩目标，仅接受留在参考轨迹上的提交，并结合置信度与隐藏状态训练策略。
要点速读
- 论文将监督式解掩码策略视为通过教师蒸馏解码过程，并分别检验标注、模仿状态、输入与 NFE 开销等设计选择。
- 作者报告：以匹配最终输出为标签在低 NFE 下过于宽松；隐藏状态单独较弱，但能与置信度互补；约 10% 的 NFE 降幅可抵消最多 7.5M 参数策略的开销。
- 作者用轨迹收缩目标训练 856K 参数策略，在 LLaDA-8B-Instruct 上取得最佳准确率—NFE 前沿与 GSM8K 最高吞吐，在 MATH-500、HumanEval 中等目标下具竞争力，并较大程度迁移到 Dream-7B-Instruct。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。