适配方式的影响小于训练方式、学习率与训练目标。
资讯摘要
论文在提示安全分类任务上，用匹配的400M编码器-解码器模型Ettin对比LoRA与全量微调，覆盖三种任务格式，每格最多15个随机种子并采用预设分析。作者报告：在预设学习率下，全量微调在各架构和格式上领先LoRA 2-3个百分点；编码器上统一搜索学习率后差距消失。让LoRA在判定后写出理由可提升4.0个百分点并弥合差距，等长但无内容的句子则无此效果。
要点速读
- 在预设学习率下，全量微调在每种架构和格式上领先LoRA 2-3个百分点；编码器上统一搜索学习率后差距消失。
- LoRA在判定后生成理由可提升4.0个百分点并弥合差距，等长无内容句子无此效果。
- 训练模型域内得分高于提示的8B模型，但在三个分布外语料中的两个上落后，对抗性越狱提示落后8-23个百分点，并将27-66%的良性但看似有害提示标为不安全，8B模型为2-3%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。