回到最新动态
研究论文 / THE SIGNAL

LLM 预测问卷回答未必优于语义基线

LLMs as survey respondents: Comparison to simple semantic baselines

重要性 4.5 AI 辅助整理

LLM 预测问卷回答的优势随已知数据减少而消失

资讯摘要

论文评估三个 LLM 在两项态度调查中预测留出题项回答的能力,并与基于嵌入相似度的简单基线比较。作者报告,LLM 多数情况下优于基线,但已知回答比例下降时表现持续变差,在其中一项调查中甚至与基线持平。结果表明 LLM 的问卷回答增强能力因调查而异,数据较少时可能退回到简单语义相似度水平。

要点速读

  1. 研究比较三个 LLM 与两种嵌入相似度基线在两项调查中预测留出题项回答的表现。
  2. 作者报告 LLM 多数情况下优于基线,但已知回答比例越低表现越差,一项调查中与基线持平。
  3. 结论认为 LLM 的问卷回答增强能力因调查而异,数据不足时可能仅依赖表层语义相似。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开