回到最新动态
研究论文 / THE SIGNAL

Stepwise-Querying:无需教师思维链的推理蒸馏

Stepwise-Querying: Distilling Reasoning without Access to Teacher Chain-of-Thought

重要性 5.5 AI 辅助整理

黑盒教师下分步查询可替代思维链蒸馏

资讯摘要

论文提出 Stepwise Querying 方法,在黑盒教师仅返回最终答案和简要解答的情况下,通过向同一教师分步独立查询中间推导、有效性检查与纠错,再组装成解答用于标准监督微调,无需访问教师内部思维链。作者报告在两名教师、两名学生和四个数学与代码基准的 16 组对比中,该方法在 14 组取得最高分;并提出诊断指标 SEIG,GSM8K 分析显示保留有效中间推理的错误答案轨迹仍可有用。

要点速读

  1. 方法通过分步独立查询获取中间推导、有效性检查与纠错,不依赖教师 CoT 轨迹
  2. 作者报告 16 组对比中 14 组得分最高,涉及两名教师、两名学生和四个数学与代码基准
  3. 提出 SEIG 指标,GSM8K 分析表明错误答案轨迹若保留有效中间推理仍可有用

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开