PLF：从反馈中学习可复用助手人格

论文提出用反馈训练可复用 LoRA 人格适配器并按请求路由。

资讯摘要

论文提出 Persona Learning from Feedback（PLF）框架，将可复用的、基于偏好的助手人格学习为共享冻结主干上的独立 LoRA 适配器。训练时由冻结的自教师结合人格规范与针对具体回答的反馈，对适配器自身生成的前缀提供 token 级监督，并用反馈门把纠正更新集中在需要改进的回答上。部署时由监督路由器根据请求或对话选择单个适配器或固定组合，无需针对用户微调。作者在单轮个性化与多轮辅导两种设定下报告，PLF 在模型评判的偏好契合度上优于固定人格策略及人格提示、人格蒸馏等基线，且不损害通用能力。

要点速读

1. PLF 把助手人格学习为共享冻结主干上的独立 LoRA 适配器，训练时由冻结自教师提供 token 级监督。
2. 反馈门将纠正更新集中在被判定需要改进的回答上；部署时监督路由器选择单个适配器或固定组合，无需用户级微调。
3. 作者在单轮个性化与多轮辅导设定中报告，PLF 的模型评判偏好契合度优于人格提示与人格蒸馏等基线，且未损害通用能力。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。