回到最新动态
研究论文 / THE SIGNAL

用 LLMON 结构做后训练,降低间接提示注入风险

Post-Training Large Language Models with LLMON

重要性 6.5 AI 辅助整理

LLMON 结构化后训练大幅降低间接提示注入成功率

资讯摘要

论文提出基于 LLMON(LLM Object Notation)的后训练方法,将可执行指令与被动数据分离,并要求通过显式标识符触发执行。作者构建了 4.6B token 的结构化训练语料,覆盖通用、RAG 与工具调用数据,并加入含干扰指令的变体;对 Granite-4.1 的 3B 和 8B 基座模型先做监督微调、再做强化学习。作者报告,间接提示注入基准的攻击成功率从 53–100% 降至 0.02–5.6%,同时保持通用能力,并引入基于注意力的可解释性指标分析各层失败模式。

要点速读

  1. 论文构建 4.6B token 结构化语料,覆盖通用、RAG 和工具调用,并含干扰指令变体
  2. 对 Granite-4.1 3B/8B 基座模型做 SFT 加强化学习后训练
  3. 作者报告间接提示注入攻击成功率由 53–100% 降至 0.02–5.6%,且通用能力保持

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开