回到最新动态
论文更新 / THE SIGNAL

衡量LLM生成内容分布覆盖的新框架

Where Models Converge and Humans Diverge: A Coverage Framework for Distributional Pluralism in Open-Ended Generation

重要性 5.0 AI 辅助整理

论文用人类写作分布衡量LLM输出的覆盖广度与集中程度。

资讯摘要

论文提出一个以人类写作为基准的框架,用同一主题下人类文本的经验分布衡量LLM生成内容的分布广度,并提出LLM Coverage(LLM-Cov)与In-Boundary Rate(IBR)两项指标,分别刻画分布广度与是否落在人类参考区域内。作者报告在构思与叙事任务中,受测LLM的平均覆盖度低于同等规模的人类留出样本,且模型输出更集中于人类响应空间的中心;在哈利·波特同人写作中,被覆盖与未被覆盖的段落在本体锚定和叙事形式上存在系统性差异。

要点速读

  1. 论文提出LLM-Cov与IBR两项指标,分别衡量分布广度与落入人类参考区域的比例。
  2. 作者报告在构思和叙事任务上,受测LLM平均覆盖度低于同等规模的人类留出样本,输出更集中于人类响应空间中心。
  3. 在哈利·波特同人写作中,被覆盖与未被覆盖段落在本体锚定和叙事形式上呈现系统性差异。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开