早期解码熵轨迹可用于判断LLM何时需要CoT推理
资讯摘要
论文研究能否用早期解码动态判断何时需要显式推理。作者发现CoT增益大的任务早期熵趋于下降，低增益任务则多呈振荡或上升，据此提出轻量路由框架EDRM，用紧凑可解释的早期熵轨迹表示在Direct、Standard与CoT解码间选择，默认启发式无需训练路由器。在15个基准、7个LLM上，全局与实例级变体在精度相当下节省16%–55%token。
要点速读
- 论文观察到CoT增益较大的任务早期熵呈下降趋势，低增益任务多为振荡或上升轨迹
- EDRM以紧凑可解释表示总结早期熵轨迹，在Direct、Standard、CoT三种解码间路由，默认启发式无需训练
- 在15个基准和7个LLM上，全局与实例级变体在精度相当下节省16%–55%token；实例级完整配置加入短Direct回退分支，启发式路由消融报告相对无回退路由最多提升4.9个百分点精度
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。