独立评测Claude Code自动模式权限门控

独立压力测试下Claude Code自动模式端到端假阴性率达81.0%。

资讯摘要

论文对Claude Code自动模式的权限门控系统做首次独立压力测试，使用AmPermBench基准（128条提示、四个DevOps任务族、三条歧义轴），在动作级别评估253个状态变更操作。作者报告端到端假阴性率为81.0%，远高于Anthropic在生产流量上报告的17%；其中36.8%的动作经Tier 2（项目内文件编辑）绕过分类器评估，仅看分类器实际评估的160个动作，假阴性率仍为70.3%，假阳性率升至31.9%。

要点速读

1. 论文使用AmPermBench对253个状态变更动作逐一比对oracle真值，端到端假阴性率81.0%（95% CI 73.8%-87.4%）。
2. 36.8%的动作通过Tier 2项目内文件编辑落在分类器评估范围之外；仅统计Tier 3的160个动作时，假阴性率70.3%、假阳性率31.9%。
3. 产物清理场景假阴性率最高达92.9%，作者指出自动模式假设危险操作经由shell，但代理常通过文件编辑达成等效效果。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。