新基准 CivicBench 与记忆框架 TSM 让市政数据结论可溯源核查。
资讯摘要
论文提出 CivicBench，一个覆盖四座城市、两年数据的 400 项任务基准，将市政网络数据固化为可复现的数据包，并用可执行契约评估计算、来源链接、覆盖范围、限定回答及证据不足时的拒答。作者还提出 Task-State Memory（TSM），把工具观察编译为带类型的断言，仅在兼容范围内对齐记录，并围绕未解决约束检索有界状态。作者报告九组模型对比中八组平均分差为正，置信区间不含零。
要点速读
- CivicBench 含 400 项任务，覆盖四座城市、两年市政网络数据，数据固化为可复现数据包。
- 评估契约检查计算、来源链接、覆盖、范围、限定回答及不支持结论时的拒答。
- Task-State Memory 将工具观察编译为带类型断言，仅在兼容范围内对齐记录；九组模型对比中八组平均分差为正。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。