THReD代理基准首答完成率92.7%，缺数据画像降至58.0%
资讯摘要
论文报告了对THReD的基准测试。THReD是一个基于网页的系统，通过聊天代理把电子健康记录提取数据转为AI可用数据集，代理提出的步骤需用户确认后才执行。代理基准含141个任务、7类场景，在约2550个回合中，Claude Haiku 5.5首次回答完成率92.7%，缺少数据画像时降至58.0%。六项实验在真实与合成数据上验证了工具的正确性与可复现性。
要点速读
- 代理基准含141个任务（100个模板）、7个类别，覆盖目标级请求、故障恢复、无需操作请求、模式变化和数据内提示注入，成功与否由产出数据的检查判定。
- 使用Claude Haiku 5.5在四种上下文配置下运行超2550个回合，首次回答完成率92.7%（95% CI 88.1-96.4），对所有建议类请求均弃答，从每次注入故障中恢复，且从未执行植入文本所要求的操作。
- 六项实验在两类慢性病队列真实记录及大规模合成数据上验证工具：掩码重建中推断患者类别正确率91-92%、生命体征标签正确率99.7-99.8%；128条保存管线的2176次重放均产出字节一致文件。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。