TARGRS：奖励引导表征采样实现LLM去毒

TARGRS以奖励引导表征采样在测试时降低LLM与LVLM毒性

资讯摘要

论文提出测试时去毒框架TARGRS，在潜在表征空间学习毒性转换的奖励引导。探索阶段沿毒性方向渐进引导构建轨迹，将稀疏标注转为密集的逐token奖励监督；推理时沿无毒方向由粗到细采样，先定位干预区域再选最小扰动表征。作者报告在10个LLM及3个LVLM上优于现有基线，RealToxicityPrompts毒性最多降69.38%，速度接近原模型。

要点速读

1. 论文提出TARGRS，用毒性转换轨迹训练逐token奖励模型，推理时由粗到细采样无毒表征
2. 作者报告在RealToxicityPrompts、BOLD、AttaQ上测试10个LLM，毒性最多降低69.38%
3. 方法可扩展到3个LVLM，毒性最多降低64.23%，运行速度接近原模型

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。