Flide 以精确状态分叉加速决策模型推理，作者报告最高快 9.5 倍。
资讯摘要
论文提出 Flide，一种面向决策模型（如 Jev）的精确推理引擎，将决策请求的逻辑树结构与单一扁平 token 流中的物理执行解耦。其 ForkAttention 借助 GPU 常驻索引在标准注意力与循环 Gated DeltaNet 层间导航请求依赖，作者报告每个查询分支的结果与独立前向计算在精确算术下一致。在公开混合模型与决策模型上的评测显示，Flide 比 vLLM 和 SGLang 快至多 9.5 倍，且总变差距离最接近 float32 参考。
要点速读
- 论文提出 Flide，将决策请求的逻辑树结构与扁平 token 流中的物理执行解耦，以减少前缀重算。
- ForkAttention 使用 GPU 常驻索引处理标准注意力与 Gated DeltaNet 层的请求依赖，作者称分支结果与独立前向计算精确一致。
- 作者报告在公开混合与决策模型上，Flide 比 vLLM、SGLang 快至多 9.5 倍，且总变差距离最接近 float32 参考。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。