扩散语言模型的公平性随采样配置变化

扩散语言模型的公平性测量依赖采样配置，去偏后仍如此。

资讯摘要

论文研究扩散语言模型（DLM）的公平性是否随采样设置变化。作者在 Open-BBQ 上测试 LLaDA、LLaDA-1.5 和 Dream，发现三者均存在社会偏见，且偏见幅度与模型间偏见排序高度依赖 block length、remasking 策略等采样配置。作者报告，为自回归模型设计的去偏方法可迁移到 DLM 并降低偏见且不损害下游性能，但采样依赖在去偏后依然存在。

要点速读

1. 论文在 Open-BBQ 上评估 LLaDA、LLaDA-1.5 与 Dream，三者均表现出社会偏见。
2. 测得的偏见幅度及模型间偏见排序对 block length、remasking 策略等采样配置高度敏感。
3. 自回归模型的去偏策略可迁移至 DLM，但采样依赖在去偏后仍持续存在。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。