论文用人类写作分布衡量LLM输出的覆盖广度与集中程度。
资讯摘要
论文提出一个以人类写作为基准的框架,用同一主题下人类文本的经验分布衡量LLM生成内容的分布广度,并提出LLM Coverage(LLM-Cov)与In-Boundary Rate(IBR)两项指标,分别刻画分布广度与是否落在人类参考区域内。作者报告在构思与叙事任务中,受测LLM的平均覆盖度低于同等规模的人类留出样本,且模型输出更集中于人类响应空间的中心;在哈利·波特同人写作中,被覆盖与未被覆盖的段落在本体锚定和叙事形式上存在系统性差异。
要点速读
- 论文提出LLM-Cov与IBR两项指标,分别衡量分布广度与落入人类参考区域的比例。
- 作者报告在构思和叙事任务上,受测LLM平均覆盖度低于同等规模的人类留出样本,输出更集中于人类响应空间中心。
- 在哈利·波特同人写作中,被覆盖与未被覆盖段落在本体锚定和叙事形式上呈现系统性差异。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。