论文用Tsallis损失连续体统一SFT与RLVR并解释其顺序。
资讯摘要
论文提出基于Tsallis q对数的损失族J_Q，在RLVR（q=0）与潜轨迹对数边际似然（q=1）之间插值，并分析两端在冷启动与标签噪声上的差异，解释标准流程为何先SFT后RLVR。作者还给出GARL与PAFT两种蒙特卡洛估计器，可在无标注理由或外部验证器时直接优化固定q。在FinQA、HotPotQA、MuSiQue上，作者报告GARL在较高q下能摆脱冷启动，而GRPO完全失败。
要点速读
- 定义损失族J_Q，在RLVR（q=0）与潜轨迹对数边际似然（q=1）之间插值，标准流程对应q=1到q=0的分步调度。
- 梯度流分析称利用极需Ω(1/p₀)时间摆脱冷启动但对标签噪声稳健，密度估计极以Θ(log(1/p₀))摆脱却会记忆噪声。
- 提出GARL与PAFT两种蒙特卡洛估计器，无需标注理由或外部验证器；作者报告GARL在FinQA、HotPotQA、MuSiQue上于较高q摆脱冷启动，GRPO失败。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。