论文指生成困惑度不可靠，提出新评测指标

论文证明 gen-PPL 可被无意义采样器刷高，呼吁改用多指标评测 DLM。

资讯摘要

论文分析扩散语言模型常用的生成困惑度（gen-PPL）为何不能可靠衡量生成质量：它会被始终输出评分器最可能序列的采样方式压低，单样本 unigram 熵无法反映多样性损失，样本内则奖励评分器下的可预测性。作者构造四个免训练采样器，在 LM1B 和 OpenWebText 上达到或超过训练模型的 gen-PPL，但文本本身不连贯。论文随后用分布差异与多样性诊断重新评测近期 DLM，并引入基于压缩的差异指标衡量局部覆盖与保真度。

要点速读

1. 论文指出 gen-PPL 可被始终输出评分器最可能序列的采样策略压低，且单样本 unigram 熵无法捕捉多样性损失。
2. 作者构造四个免训练采样器，在 LM1B 和 OpenWebText 上以非退化 unigram 熵达到或超过训练模型的 gen-PPL，但生成文本按构造即不连贯。
3. 论文用分布差异和多样性诊断重新评测近期 DLM，并引入基于压缩的差异指标，衡量真实与生成文本间 KL 散度的两个方向。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。