新基准显示大模型人格一致性决策仍明显落后于人类。
资讯摘要
论文提出 HEART-Bench，用于评估基于记忆的人格一致性回答选择。该基准由 11 个以 Big Five 人格特质为锚点的合成角色（各含 1000 条自传体记忆）和 64 个 DIAMONDS 引导的决策场景构成，共 673 道多选题；由领域专家独立比较候选回答，分歧由资深专家裁定。作者在无检索、Naive-RAG、Mem0 和 PersonaDB 四种设置下评测 16 个 LLM：无记忆时准确率接近 25% 的随机水平，最佳记忆增强配置达 64.9%；在匹配的 150 题子集上，人类标注者达 80.8%，最佳模型为 64.0%。消融显示，检索与目标角色及决策情境均匹配的经历很重要。
要点速读
- 基准含 11 个 Big Five 锚定合成角色、各 1000 条自传体记忆，以及 64 个 DIAMONDS 决策场景，共 673 道多选题。
- 16 个 LLM 在无记忆时准确率接近 25% 随机水平，最佳记忆增强配置为 64.9%。
- 匹配 150 题子集上人类达 80.8%、最佳模型 64.0%；消融表明需检索同时匹配角色与情境的记忆。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。