论文发布城市级模拟引擎与基准，评测语言模型调查能力。
资讯摘要
论文提出Kierston城市级模拟引擎与KierstonBench基准，用于评估语言模型在犯罪调查和监控任务中的能力。Kierston模拟宾夕法尼亚州阿伦敦约12.5万居民，生成其日常活动及电信、金融、行政和车牌记录，记录源自同一行为时间线并分散于不同提供方。模型通过受限记录接口调查，无法访问底层模拟。基准含32类任务。作者报告，在16个语言模型评测中，多数无法完成记录调查，提交了记录不支持的识别结论；少数前沿模型解决大部分任务并在证据不足时弃答，但仍会落入常见欺骗与假设，且无一能替代调查员。
要点速读
- Kierston模拟约12.5万居民，生成电信、金融、行政和车牌记录，记录源自同一行为时间线并分散于不同来源。
- KierstonBench包含32类任务，覆盖记录关联、日常重建、事件调查和欺骗性陈述评估。
- 作者报告16个模型评测中多数无法完成调查，少数前沿模型解决大部分任务并在证据不足时弃答，但仍受常见欺骗影响，无一替代调查员。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。