PRDO 直接优化推理后答案分布，提升选择性预测排序。
资讯摘要
论文指出，结果奖励训练并未直接优化用于选择性部署的推理后答案分布，存在两处不匹配：期望正确率偏向寻找众数而非引出分布，且对多条推理取平均会奖励单条推理无法利用的分歧。作者提出 Post-Rationale Distribution Optimization（PRDO），对每条采样推理后的答案分布施加 proper score，无需目标推理或单独置信度标签。在四个 0.6–3.8B 参数模型、MMLU-Pro 上，PRDO 相比预算匹配且温度缩放的 GRPO 改善 Brier 分数、错误排序与二次准确率；20% 实际错误率下 oracle 覆盖率提升，排序收益可迁移到未见任务。对照实验表明 proper 的逐推理打分是有效设计；验证任务显示边界：更好的选择性排序可能与更低的全覆盖准确率并存。代码已开源。
要点速读
- 论文提出 PRDO，对每条采样推理后的答案分布施加 proper score，无需目标推理或置信度标签。
- 在四个 0.6–3.8B 模型、MMLU-Pro 上，PRDO 相比预算匹配、温度缩放的 GRPO 改善 Brier 分数、错误排序与二次准确率。
- 20% 实际错误率下 oracle 覆盖率提升，排序收益可迁移到未见任务；验证任务上更好的选择性排序可能与更低全覆盖准确率并存。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。