预填充阶段解码长度预测的理论极限

论文给出预填充侧解码长度预测的理论误差界与正态律。

资讯摘要

论文指出，现有基准把预测器质量与任务难度混在一起，模型、数据集或采样配置一变，报告准确率就大幅下降。作者将解码视为停时随机过程，发现每步停止概率随步数上升，解码长度因此呈现逐提示的正态分布，并给出仿射方差律 σ=αμ+b 及误差界。实验显示正态律可复现逐提示 MAE 与分布主体，MLP、EGTP、FiLM 等预测器在固定条件下性能趋同并接近该界。

要点速读

1. 论文认为现有基准混淆了预测器质量与任务难度，目标模型、数据集或采样配置变化时准确率会崩塌。
2. 作者把解码建模为停时随机过程，推导出逐提示正态性与仿射方差律 σ=αμ+b，并给出预填充侧方法必须遵守的界。
3. 在固定模型、数据和采样条件下，MLP、EGTP、FiLM、软标签与 MoE 等预测器性能趋同且接近该界，作者据此主张系统误差主导。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。