新基准用多样化模拟用户评测聊天助手的需求适配能力。
资讯摘要
论文提出 PersonaChatBench 评测框架，将同一任务与多个模拟用户配对，每个用户由私有 persona card 定义不同的需求、偏好和交互行为，从而在任务固定、用户变化的条件下考察助手表现。作者在六个领域评测 20 个语言模型，分别评估原生任务结果、对 persona 需求的满足程度和模拟器保真度。结果显示任务表现与需求满足度随 persona 和领域变化，强任务表现不一定带来个体需求满足，且模型在不同领域的相对优势并不一致。
要点速读
- 框架将同一任务与多个模拟用户配对，用户由私有 persona card 指定需求、偏好与交互行为。
- 作者在六个领域评测 20 个语言模型，分别评估任务结果、persona 需求满足和模拟器保真度。
- 作者报告任务表现与需求满足度随 persona 和领域变化，强任务表现不一定转化为需求满足。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。