CoFiBreak：面向多轮越狱的粗到细多样性奖励

CoFiBreak 用粗到细多样性奖励提升多轮越狱攻击的多样性。

资讯摘要

论文提出 CoFiBreak，为 GRPO 训练的攻击者模型设计粗到细多样性奖励：粗粒度奖励鼓励组内使用不足的攻击策略，细粒度奖励在去除有害意图信息后抑制重复的人设、框架与输出格式。多样性奖励仅作用于已超过有效性阈值的攻击。作者报告以 Llama3.1-8B-Instruct 为受害模型训练后，在 HarmBench 上发现的细粒度成功策略数为最强基线的 1.6–2.0 倍，AdvBench 上 ASR@10 达 98.8%，并称攻击可迁移至未见模型。

要点速读

1. 论文指出仅以攻击成功为奖励会使攻击者策略多样性坍缩，导致安全评估反复测试近似重复的攻击模式。
2. CoFiBreak 的粗、细两级奖励只在训练阶段计算，作者称因此保留推理效率。
3. 作者报告在 AdvBench 上对未见受害模型 Claude-Opus-4.6 的 ASR@10 为 71.0%，代码将发布。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。