论文主张AI省时须与放过的错误合并核算。
资讯摘要
一篇论文讨论如何衡量AI辅助节省的时间,主张采用“账本”视角,即把节省的时间与工作放过的错误放在一起看,而非只看秒表记录。作者提出“节省时间”“额外逃逸缺陷”两个不依赖模型的量及“盈亏平衡缺陷成本”决策数,并给出检查行为基线模型。作者用METR公开数据复现开发者研究:同一246个问题支持19%或24%的减速(未校正偶然失衡时为34%),AI在其中3%至82%的问题上有帮助。
要点速读
- 论文提出“节省时间”与“额外逃逸缺陷”两个不依赖模型的量,以及由二者构成的“盈亏平衡缺陷成本”。
- 作者复现METR开发者研究:同一246个问题支持19%或24%的减速,未校正偶然失衡时为34%,AI在3%至82%的问题上有帮助。
- 在GDPval的逐输出审查流程中,仅审查时间就把GPT-5的加速上限限制在3.6倍;小型预注册实验显示,被告知起草者错误率更低时,审查者少查9个数字中的7个,22.5%的简报放过错误数字。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。