论文提出 Value Probes 启发式，报告红队审计峰值分数提升约 50%。
资讯摘要
论文将语言模型自动红队审计建模为马尔可夫决策过程，状态为对话历史、动作为候选回复、奖励为评判模型打分，并提出用束搜索替代仅依赖审计模型的做法。作者进一步把寻找易导致问题行为的状态视为价值估计，提出从目标模型激活中线性探针预测折扣未来奖励的 Value Probes，作为束搜索启发式。作者报告在 18 种目标行为和 3 种模型规模上，峰值审计分数较标准方法提升约 50%。
要点速读
- 论文把红队审计形式化为马尔可夫决策过程，并采用束搜索进行审计。
- Value Probes 通过线性探针从目标模型激活预测折扣未来奖励，用作束搜索启发式。
- 作者报告在 18 种目标行为、3 种模型规模上峰值审计分数提升约 50%，并称可用小模型离策略数据拟合。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。