论文提出两级规划—执行框架 MLR，并配合迭代 Step-DPO 训练。
资讯摘要
论文提出多层级推理（MLR）框架，将长链思维生成重构为两级随机过程：高层规划器生成包含推理模式与语义子目标的结构化步骤描述，低层执行器据此产出详细推理，形成规划—执行交替循环。实现上以基座模型作低层策略、轻量 LoRA 模块作高层策略；训练采用迭代 Step-DPO，借助 Twisted Sequential Monte Carlo 提供逐步监督。作者报告在数学、科学与逻辑推理基准上，以更少数据预算优于 SFT 蒸馏及 RL/偏好优化基线。
要点速读
- MLR 将长 CoT 生成拆为高层规划器与低层执行器的交替规划—执行循环，高层由轻量 LoRA 模块实现。
- 论文提出迭代 Step-DPO，用 Twisted Sequential Monte Carlo 提供可扩展的逐步偏好监督，缓解长轨迹信用分配问题。
- 作者报告在数学、科学、逻辑推理基准上，以 10% SFT 与 5% 偏好数据预算优于 SFT 蒸馏和 RL/偏好优化基线，且长程推理退化更慢。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。