回到最新动态
研究论文 / THE SIGNAL

论文提出词汇级拒答方向与恐惧词表

Which Words a Model Fears: From a Refusal Direction to a Vocabulary-Wide Fear Lexicon

重要性 5.5 AI 辅助整理

论文提取出词汇级拒答方向,可为每个词打分并预测拒答。

资讯摘要

一篇论文提出,对齐语言模型的拒答行为部分取决于提示词中的具体词汇,而非仅取决于请求含义。作者通过对比差分从隐藏状态中提取出一个跨提示、跨词共享的拒答方向,在八个模型中沿该方向写入可单调调节拒答率。以该方向衡量整个词表,可为每个词给出偏移值,从“恐惧”词到“勇气”词;在良性提示后追加恐惧词即可引发拒答。两项留出测试在八个模型中验证了该排序。

要点速读

  1. 论文从隐藏状态中提取单一拒答方向,在八个模型中沿该方向写入可单调升高或降低拒答率,效果优于随机方向和 KL 匹配方向。
  2. 用该方向为整个词表打分,每个词获得偏移值;词的偏移可由其自身表示预测,在良性提示后追加恐惧词即可使模型拒答。
  3. 两项留出测试在八个模型中验证排序:插入未见词后拒答率随其表中偏移上升;用最“勇气”的同义替换最恐惧词可显著提高良性及有害提示的回答率。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开