新基准显示模型能推断受限处境，却给不出可安全执行的建议。
资讯摘要
论文提出HEARSAYBENCH，一个由人工编写、含400个测试用例并经区域内人工核验的数据集，场景源自联合国等人权报告，覆盖80多个地区，聚焦战争、无国籍、流离失所等结构性约束下用户能动性受限的情形。作者基于阿马蒂亚·森的能力方法，测试模型能否区分人形式上被允许做什么与实际能做什么。对14个专有与开放权重模型的评测显示，所有模型推断用户处境的准确度都高于其给出建议的准确度，更强模型缩小了这一差距，但建议仍不宜照做。
要点速读
- 数据集含400个人工编写测试用例，经区域内人工核验，场景来自联合国等人权报告，覆盖80多个地区。
- 评测14个专有与开放权重模型：所有模型对用户处境的推断都优于其给出的建议。
- 更强模型缩小推断与建议之间的差距，但作者报告其建议仍不安全、不宜照做。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。