论文让策略在 DPO 训练中自我修订行为评分标准。
资讯摘要
论文提出 RubricOpt 框架，让策略在偏好优化过程中自行修订指导训练的行为评分标准：策略诊断自身无评分标准时的输出，保留已覆盖的要求，修改未能解决反复失败问题的条款。共享语义表示连接任务需求、偏好数据对比与评分条款，确定性门控检查证据引用与固定语义锚点。评分标准在训练中引导 DPO，偏好对、标签与目标保持不变，评估时移除。能力与开放式生成基准实验显示，评分标准条件化可优于普通 DPO，但增益与退化因模型和数据集而异。
要点速读
- RubricOpt 让策略诊断自身无评分标准输出，保留已覆盖要求并编辑未解决反复失败的条款。
- 共享语义表示连接任务需求、偏好数据对比与评分条款，确定性门控检查证据引用与固定语义锚点。
- 实验显示评分标准条件化可优于普通 DPO，但增益与退化因模型和数据集而异；匹配延续实验对修订贡献给出混合结果。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。