用模型课程表发现越狱提示

CoM 用递进式目标模型课程缓解越狱发现中的稀疏奖励。

资讯摘要

论文提出 Curriculum of Models（CoM）方法，用于自动发现越狱提示：让调查者模型依次对抗目标模型的多个修改版本，从很少拒绝有害请求的版本逐步过渡到原始安全训练模型，以缓解直接训练时奖励稀疏的问题。作者在 CBRN 材料、爆炸物和非法药物三类诱导任务上，用 gemma-4-31b-it 与 gpt-oss-120b 两个开放权重目标模型评测，并与 PRBO 及直接训练对比。

要点速读

1. CoM 按难度递进训练调查者模型，当前版本能稳定诱导出目标行为后再进入下一更难版本。
2. 单行为诱导任务中，CoM 比 PRBO 和直接训练更可靠地找到成功越狱提示。
3. 多行为同时训练时，CoM 训练的模型能诱导未参与训练的行为，但成功率低于 PRBO。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。