价值问卷微调可改变LLM问卷回答并部分迁移到行为代理评测
资讯摘要
论文研究轻量价值对齐：能否仅用价值问卷回答微调，改变开源LLM的价值取向与下游行为。作者先按Schwartz十类价值估计基线画像，再用问卷式监督选择性调整目标价值评分。结果显示，微调可改变留出问卷回答，并在Reddit AITA道德判断与文本交互决策等代理任务上产生响应分布变化，但迁移效果高度依赖模型与价值类型，也受价值描述框架影响。
要点速读
- 作者按Schwartz十类价值为多个开源LLM估计基线价值画像，并用问卷式监督微调，使目标价值评分改变、非目标价值接近基线。
- 留出问卷回答出现变化，且在Reddit AITA道德判断和文本交互决策等域外代理评测上出现响应分布变化。
- 作者报告这种迁移强烈依赖模型和价值类型，并受监督数据中价值描述框架的影响。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。