LLM 模拟个人答案的准确率主要来自题目均值,而非个体差异。
资讯摘要
一篇论文在四个公开数据集上检验“人设越丰富,LLM 越能预测特定个人答案”的前提。作者将个人答案拆分为题目均值与个人偏差,发现替代研究报告的准确率多来自预测题目均值,LLM 对偏差解释很少,称为 item-mean surrogacy。在重复作答数据中,偏差过半方差为稳定信号,LLM 漏掉的主要是稳定信号;其中 person-by-item 信号方差约为 person 信号的 8.5 倍,LLM 仅恢复约十分之一,更丰富人设、换模型与微调均未改变,微调版本恢复更少。
要点速读
- 论文在四个公开数据集上测试更丰富人设能否提升对特定个人答案的预测。
- 作者提出 item-mean surrogacy:LLM 准确率多来自预测题目均值,对个人偏差解释有限。
- 重复作答数据显示偏差过半方差为稳定信号;person-by-item 信号方差约为 person 信号的 8.5 倍,LLM 仅恢复约十分之一,微调后恢复更少。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。