对抗式投机推理提升长程智能体表现

投机解码可被用作提升长程智能体推理精度的机制。

资讯摘要

论文指出，投机解码在长程智能体推理中并非纯系统优化：验证窗口内的数值噪声会累积，草稿接受结果在约30步后可改变模型输出分布，随机影响推理准确率。作者提出训练草稿模型在关键推理点被拒绝，使这些token由目标模型在最不易受噪声干扰的条件下采样。在复杂智能体编程基准上，该方法提升端到端成功率，且不改变目标模型及其输出分布，仅训练托管参数的0.06%至0.28%。

要点速读

1. 论文发现投机解码的数值噪声在验证窗口内增长，约30步后草稿接受结果可改变输出分布，随机影响长程智能体准确率。
2. 方法是在智能体轨迹中定位关键决策点，训练草稿模型倾向被拒绝，使验证重启、关键token由目标模型采样。
3. 在复杂智能体编程基准上端到端成功率提升，目标模型与输出分布不变，仅训练0.06%至0.28%的托管参数。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。