论文提取出词汇级拒答方向,可为每个词打分并预测拒答。
资讯摘要
一篇论文提出,对齐语言模型的拒答行为部分取决于提示词中的具体词汇,而非仅取决于请求含义。作者通过对比差分从隐藏状态中提取出一个跨提示、跨词共享的拒答方向,在八个模型中沿该方向写入可单调调节拒答率。以该方向衡量整个词表,可为每个词给出偏移值,从“恐惧”词到“勇气”词;在良性提示后追加恐惧词即可引发拒答。两项留出测试在八个模型中验证了该排序。
要点速读
- 论文从隐藏状态中提取单一拒答方向,在八个模型中沿该方向写入可单调升高或降低拒答率,效果优于随机方向和 KL 匹配方向。
- 用该方向为整个词表打分,每个词获得偏移值;词的偏移可由其自身表示预测,在良性提示后追加恐惧词即可使模型拒答。
- 两项留出测试在八个模型中验证排序:插入未见词后拒答率随其表中偏移上升;用最“勇气”的同义替换最恐惧词可显著提高良性及有害提示的回答率。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。