PGuard 把流式安全检测内嵌进骨干模型,开销低于 3%。
资讯摘要
论文提出 PGuard,一种原生、流式、插件式安全护栏,直接利用骨干模型的中间表示做 token 级安全检测,不改变原推理路径与生成行为。其动态层门控在 prefill 与自回归解码阶段聚合残差流表示,并提供轻量无状态与基于多尺度因果 EMA-attention、GRU 的序列感知变体。作者报告在 SGLang 服务的 Qwen3.5-122B-A10B 上端到端开销仅 0.82–2.26%,在 30 多个基准上取得原生护栏中的领先表现。
要点速读
- PGuard 利用骨干模型中间表示做 token 级安全检测,不改变原推理路径或生成行为。
- 动态层门控在 prefill 和自回归解码阶段聚合残差流表示,支持无状态与序列感知多种架构。
- 作者报告在 SGLang 服务的 Qwen3.5-122B-A10B 上端到端开销为 0.82–2.26%,Qwen3.5-9B 文本查询平均 F1 为 0.836。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。