单一提示词的首 token 安全分数波动大，不宜直接当概率用。
资讯摘要
论文指出，安全流程常用模型首 token 的不安全分数做阈值判断，但单一提示词下的分数并非可靠概率。作者在七个视觉语言模型、两个基准上测试，同一输入经 15 种保持任务语义的改写后，不安全概率平均标准差为 0.16–0.30，波动最大的输入更易被误分类。论文比较了均值集成与用开发标签校准两种修正方式，并给出按场景选择校准策略的建议。
要点速读
- 同一输入在 15 种任务保持改写下的不安全概率平均标准差为 0.16–0.30，波动大的输入更常被误分类。
- 15 个提示词取均值后，在 14 个模型-基准组合中的 13 个上 NLL 低于最佳单一提示词，即使该提示词用评测标签选出。
- 有开发标签且部署数据匹配时，联合选择并校准单一提示词在七个模型上均优于校准后的均值；跨基准不重拟合时结论反转，七个模型中有六个均值更优。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。