潜在危害监测器在匹配误报率下不优于模型自身行为

潜在危害监测器在分布偏移下不优于简单分类器，生成前增益跟随拒答决策。

资讯摘要

论文测试了基于模型内部激活的潜在危害监测器（如 Latent Guard）在分布偏移下的表现。作者用改写、说服性框架和越狱包装构造分布外提示，在15个指令微调LLM和38个激活读取器上，与TF-IDF、句向量分类器、独立训练的安全分类器及各模型拒答行为对比。结果显示：指令末尾的表征基本独立于拒答行为，但在分布偏移下退化，TF-IDF分类器排序危害优于原始Latent Guard；生成前表征在匹配误报率下检出44%有害提示，高于模型拒答的32%，但该增益跟随拒答决策本身。

要点速读

1. 论文在15个指令微调LLM和38个激活读取器上测试潜在危害监测器，使用改写、说服性框架和越狱包装构造分布外提示。
2. 指令末尾的激活表征基本独立于模型拒答行为，但在分布偏移下退化，TF-IDF分类器在所有测试模型上排序危害优于原始Latent Guard。
3. 生成前表征在匹配误报率下检出44%有害提示，模型拒答为32%，但增益跟随拒答决策，部分来自字符串匹配评估漏掉的拒答。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。