论文提出RCG指标,发现六个LLM生成的受访者均未覆盖真实人类受访者。
资讯摘要
论文指出,现有对硅采样(让大模型按给定人口属性回答问卷、生成合成受访者)的评估只看单题答案准确率、各题答案分布和题目间相关性,没有比较受访者本身,因此生成器可能产出人类中不存在的答案组合却仍得分良好。作者提出受访者覆盖差距(RCG),以完整答案画像表示每位受访者,衡量每个人类受访者到最近生成受访者的距离相对于人类样本间距离的大小。
要点速读
- 论文提出受访者覆盖差距(RCG),将每位受访者表示为完整答案画像上的一个点,衡量人类受访者到最近生成受访者的距离相对于人类样本间距离的大小。
- 在两项美国社会调查上,所评估的六个 LLM 均未覆盖人类受访者;在主要设置下,它们落后于按人类边际分布独立采样各答案的基线。
- 在测试的提示与推理设置中,每个 LLM 的 RCG 都高于拟合人类数据的高斯 copula。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。