免训练扰动可让流模型似然排序与人类直觉一致
资讯摘要
论文针对归一化流等深度生成模型对分布外输入给出异常高似然的问题，提出免训练的语义比例熵操控（SPEM）：对与分布内记忆库相似度较低的输入施加更强扰动。作者推导理论下界，表明该熵差会扩大分布内输入的期望对数似然优势；标准基准实验显示，这种操控使似然排序与人类直觉一致，且即使流模型只接收无意义噪声而非原始输入，该重排仍持续存在，论文对此现象做了理论分析。
要点速读
- 论文提出免训练方法SPEM，按输入与分布内记忆库的相似度施加不同强度扰动
- 作者推导理论下界，说明熵差可扩大分布内输入的期望对数似然差
- 基准实验显示似然排序与人类直觉重新对齐，且该现象在输入被替换为无意义噪声时仍存在
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。