PACT：为扩散语言模型并行解码的写入内容提供认证

PACT 先采样再认证写入 token，以更少前向次数达到同等质量。

资讯摘要

论文针对掩码扩散语言模型的并行解码提出 PACT，一种免训练的提交规则：先采样出将要写入的 token，再对其集合进行认证，并将每步位置间隔开。作者称该证书在任意温度下成立，且同保证下没有规则能提交更多位置。在 LLaDA 与 Dream 四个模型及 HumanEval、MBPP、GSM8K、MATH500、IFEval 上，PACT 以更少前向次数达到已发表提交规则的质量。

要点速读

1. 论文指出已发表提交规则在采样时未检验实际写入的 token，而答案质量与这些 token 的可靠性相关。
2. PACT 先抽取 token 再认证写入集合，并拉开每步位置间隔；作者称该证书在任意温度下成立。
3. 实验用 LLaDA 和 Dream 家族四个模型及五个基准，PACT 以更少前向次数达到已发表规则的质量，同速下连续重复同一词更少。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。