SOPO：苏格拉底式引导的策略优化用于跨度级幻觉检测

SOPO 用教师提示引导多轮 RL，提升跨度级幻觉检测。

资讯摘要

论文提出 SOPO，一种多轮强化学习框架，用于跨度级幻觉检测。其核心是苏格拉底式反馈机制：教师模型在 rollout 阶段依据真实答案给出间接提示，引导推理轨迹，以缓解困难样本的奖励稀疏问题；同时引入 Turn-based Advantage Scaling 抑制冗长偏好。作者报告在 RAGTruth 上 SOPO（4B）取得最优表现，超过 GPT-5 等专有模型与标准 RL 基线，并在四个域外基准上平均分高于 GRPO，与 CAPO 对比证据不一。训练与评测代码及 1.7B、4B 模型已公开。

要点速读

1. SOPO 为多轮 RL 框架，用教师模型基于真实答案提供间接提示，引导困难样本的推理轨迹。
2. 引入 Turn-based Advantage Scaling 惩罚冗长偏好，鼓励高效自主推理。
3. 作者报告 RAGTruth 上 SOPO（4B）超过 GPT-5 等专有模型和标准 RL 基线，四个域外基准平均分高于 GRPO，与 CAPO 对比结果不一。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。