回到最新动态
论文更新 / THE SIGNAL

利用势函数提升自回归语言模型期望估计精度

Estimating Great Expectations Under Autoregressive Language Models with Potentials

重要性 4.5 AI 辅助整理

论文用采样附带的下一词概率构造势函数估计器,降低期望估计方差。

资讯摘要

论文提出一种利用自回归语言模型采样时附带产生的下一词条件概率来提升期望估计精度的方法。作者引入势函数(前缀的实值函数),对测试泛函做加性分解,构造一族由势函数参数化的估计器,并给出方差降低条件。在熵估计、水印检测和稀有事件概率估计等任务中,作者报告在相近计算成本下,其估计器相对蒙特卡洛与重要性采样基线取得显著方差降低。

要点速读

  1. 论文利用采样过程中附带得到的下一词条件概率,构造由势函数参数化的估计器族,并推导方差降低条件。
  2. 在熵估计、水印检测、稀有事件概率估计等应用中,作者报告相对蒙特卡洛和重要性采样基线有显著方差降低。
  3. 作者称在相近计算成本下取得上述改进。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开