廉价结构化审核模型：分歧与决策风险是两种不确定性

廉价审核模型准确率接近前沿模型，但置信度混淆了两种不确定性。

资讯摘要

论文对一类冻结的“System One”内容审核模型做独立审计，在142,658条人工标注评论上测试，并与14个前沿推理模型对比。作者报告该廉价模型零样本分类AUROC为0.83，与14个前沿系统中的13个在统计上无法区分（配对bootstrap，n=56，属未能拒绝持平而非证明等价），成本低1至3个数量级。论文还指出“置信度”混淆了人类标注分歧与决策风险，二者需要相反的升级信号。

要点速读

1. 在142,658条人工标注评论上审计一类按类型返回校准决策的冻结模型，单次调用约0.000025美元、约100毫秒。
2. 作者报告该模型零样本AUROC为0.83，与14个前沿推理模型中的13个统计上无法区分，成本低1至3个数量级。
3. 论文提出将判断拆成并行子问题并读取其离散度，可补回模型原生置信度遗漏的人类分歧信号，但该补救仅对最弱、对分歧不敏感的模型有效，且依赖分布。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。