大窗口推理可经自蒸馏改善小窗口解码。
资讯摘要
论文提出 HiLo-RD，用大窗口教师状态与小窗口裁剪视图配对，在已提交位置对齐隐藏表示，以缓解掩码扩散语言模型在有限生成预算下过早固定答案片段的问题。作者报告在数学基准上低预算准确率提升、回答变短，GSM8K 准确率提高 9.4 个百分点、平均可读长度下降约 25%，且未经代码领域训练也能迁移到代码生成。
要点速读
- 论文识别出“预算诱导的过早提交”：模型在推理未完成前就固定窗口边界附近的答案片段，这些片段又成为后续预测的上下文。
- HiLo-RD 将大窗口教师状态与小窗口裁剪视图配对，在已提交位置匹配隐藏表示，无需外部教师即可同时监督 token 预测与提交顺序。
- 作者报告 GSM8K 准确率提升 9.4 个百分点、平均可读长度下降约 25%，并称增益可迁移到代码生成。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。