回到最新动态
研究论文 / THE SIGNAL

LLM预测人机对话中用户决策时过度采信口头承诺

Words or Deeds? How LLMs Predict Users' Decisions in Human-Agent Dialogue

重要性 5.0 AI 辅助整理

LLM预测用户决策时过度相信口头承诺,忽视其历史行为。

资讯摘要

论文研究LLM如何结合用户陈述与历史决策记录预测其行为,基于42名用户与五个不同大五人格智能体进行的1260轮重复囚徒困境博弈。八款开放权重LLM仅凭决策记录区分合作与背叛的AUC达0.80,加入对话未带来可检测提升;对话反而使预测更贴合用户口头表态,错误集中在用户违背承诺的轮次,且预测几乎未反映用户面对不同智能体时的行为差异。

要点速读

  1. 八款开放权重LLM仅用决策记录预测合作/背叛的AUC为0.80,加入对话后无显著提升。
  2. 有对话时,用户守信轮次准确率从0.76升至0.95,失信轮次从0.65降至0.17。
  3. 用户对宜人性智能体合作率70.6%、对外向性智能体54.5%,但预测合作率几乎相同(64.5% vs 63.1%)。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开