论文提出提示级评分细则的安全诊断评估框架 DiagSafe。
资讯摘要
论文提出 DiagSafe 诊断式安全评估框架，用提示级评分细则替代二元安全标签，从安全性与有用性两个维度给出明确标准，并构建基于 84 类安全分类的中英双语基准，含 DiagBase 与 DiagAttack 两个子集。作者报告该框架与人工标注一致率达 95.34%，高于基线的 69%–87%，评审间一致性 Cohen's κ 为 0.864。
要点速读
- DiagSafe 采用提示级评分细则，安全性维度针对具体危害并设豁免项以抑制误报，有用性维度独立评估指令完成情况。
- 基准为英中双语，基于 84 标签安全分类，DiagBase 覆盖单轮与多轮直接有害查询及模板越狱，DiagAttack 将有害意图嵌入复杂指令跟随任务。
- 作者报告与人工标注一致率 95.34%，基线为 69%–87%，评审间一致性 Cohen's κ = 0.864；实验还显示各模型不安全率差异明显，中文与多轮场景更易受影响。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。