论文提出多轮对话危害放大基准与监控方法

论文提出多轮危害放大基准 HarmAmp 与监控器 TrajSafe。

资讯摘要

论文关注大语言模型在多轮交互中充当“危害放大器”的风险：既让新手产出专业有害内容，也能以人工难以达到的规模执行有害操作。作者提出 HarmAmp 基准，覆盖十二类风险场景，要求具备实质性放大、操作具体性和多轮必要性；并提出主动监控器 TrajSafe，通过探查用户真实意图、引导模型转向更安全回答来干预。作者报告实验显示 TrajSafe 降低多轮交互危害，同时保持较低过度拒答率和目标模型通用能力。

要点速读

1. 论文指出 LLM 风险沿两条轴放大：降低专业门槛、扩大有害操作规模。
2. HarmAmp 覆盖十二类风险场景，强调实质性放大、操作具体性与多轮必要性。
3. TrajSafe 为主动监控器，可探查用户意图并引导模型更安全作答；作者报告其降低危害且过度拒答率低。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。