固定 LoRA 预算下中间深度是偏好调优的实用起点，但行为收益需逐场景验证。
资讯摘要
论文研究固定 LoRA 预算下适配器放置位置对 DPO 的影响，提出 Hierarchical Alignment，将解码器深度分为 Local、Intermediate、Global 区域，仅对选定连续块做 LoRA 更新。在 Qwen 与 Llama 模型上，三随机种子滑动窗口扫描显示中间深度附近存在低损失区间；参数完全匹配时，Middle 在 Qwen2.5-7B 与 Llama-3.1-8B 上取得更低留出 DPO 损失。但生成层面证据不一致，LLM 评审与盲测人类研究在 Qwen 上未能区分 Selected 与 All，Llama 上两个成对评审偏好 All 而人类置信区间含零。
要点速读
- 论文将解码器深度划分为 Local、Intermediate、Global 区域，把 LoRA 更新限制在选定连续块内。
- 参数完全匹配下，Middle 在 Qwen2.5-7B 和 Llama-3.1-8B 上留出 DPO 损失低于全深度分配。
- 生成质量证据不一致：Qwen 上评审与人类研究未区分 Selected 与 All，Llama 上评审偏好 All 而人类区间含零。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。