强化学习生成不可学习样本来阻止LLM未授权微调
资讯摘要
论文提出TextCloak，一个由强化学习驱动的数据合成框架，用于保护文本数据免遭未授权LLM微调。它用不可学习样本生成策略把干净文本改写为保持语义与语言自然度的保护样本，并以GRPO-UE模拟攻击者微调、以下游性能下降为奖励，形成双层优化。作者报告在六个公开数据集和九种LLM上，该方法能持续削弱未授权微调，同时保留合法使用价值。
要点速读
- TextCloak通过不可学习样本生成策略改写文本，声称保持语义保真与语言自然度。
- GRPO-UE模拟攻击者微调并以组相对策略优化奖励下游性能下降，构成双层优化循环。
- 作者报告在六个公开数据集和九种LLM上实验，并称对模型架构、训练配置和自适应攻击具有迁移性与鲁棒性。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。