TraceForge 用学生模型自身风格生成推理轨迹替代教师隐藏推理。
资讯摘要
论文提出 TraceForge，在不获取教师模型隐藏推理过程的前提下，以上下文和教师答案为输入，按学生模型家族的风格自行生成推理轨迹。训练分监督与对抗两阶段：生成器学习重建该家族的推理轨迹，判别器判断轨迹真实性。独立评审给出的真实性均分为 0.68，真实轨迹为 0.66，判别器从四个候选中选出的轨迹为 0.82。作者在五个基准上测试，编码任务中生成的推理优于 Fable 5 自身的思考内容；在相同 5000 题与教师答案下，HumanEval+ 提升 3.7 分、MBPP+ 提升 7.1 分。
要点速读
- 方法以上下文和教师答案为输入，按学生模型家族风格生成推理轨迹，不依赖教师隐藏的推理内容。
- 训练分监督与对抗两阶段，由生成器重建家族推理轨迹、判别器评估真实性。
- 作者报告在相同 5000 题与教师答案下，HumanEval+ 提升 3.7 分、MBPP+ 提升 7.1 分，MBPP+ 领先在每个检查点均保持。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。