新基准用合成数字人考察模型对个人上下文的理解与安全处理。
资讯摘要
论文提出 P-ContextBench，一个用于评估大模型理解个人上下文能力的基准。它基于人口统计种子构建有生活故事的数字人，将特质、习惯、目标与约束隐含在碎片化、动态的合成手机应用记录中，考察单源与多源事实恢复、时间状态追踪、高层个人模式推断及约束冲突下的安全处理五项能力。作者报告该基准含 100 个角色、10,088 条隐藏事实、18,261 条应用痕迹片段和 4,810 个验证测试用例。
要点速读
- 基准以人口统计种子生成数字人，个人特质与约束以隐式证据分散在演化的合成应用记录中。
- 评估覆盖事实恢复、时间状态追踪、个人模式推断和约束冲突下的合规、警告、澄清或拒绝。
- 作者报告相关 SOTA 模型在时间追踪、模式推断和约束感知行动边界上准确率低于 60%，三项重复运行全对的用例不足 10%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。