TraceSpec按智能体轨迹状态自适应分配草稿预测预算以提升投机解码吞吐。
资讯摘要
论文提出TraceSpec框架，将轨迹评估与自适应草稿训练结合，用于LLM智能体的投机解码。作者构建TraceSpec-Traj数据集，含1万个训练状态和2500个测试状态，覆盖浏览与软件工程任务。分析五个投机解码基线发现，聚合接受率随上下文变长而上升，但在匹配的后期浏览动作中反而下降。TraceSpec在中间助手轮次上训练，按状态条件估计前缀感知接受差距来分配固定预测预算。作者报告，在三种目标模型规模和两种温度下，回放吞吐较DSpark基线提升12.5%至22.6%；Qwen3-4B消融显示，自适应分配比固定整轮监督的接受长度提高3.3%至10.0%。
要点速读
- 作者构建TraceSpec-Traj，含1万个训练状态与2500个测试状态，覆盖浏览和软件工程任务。
- 分析五个投机解码基线发现：聚合接受率随上下文变长上升，但匹配的后期浏览动作内接受率下降。
- 作者报告回放吞吐较DSpark基线提升12.5%至22.6%，Qwen3-4B消融中接受长度提升3.3%至10.0%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。