TAO：面向LLM智能体服务的工具感知联合调度

TAO 将工具就绪状态纳入智能体服务调度决策。

资讯摘要

论文提出 TAO，一个面向基于 LLM 的智能体服务的工具感知联合调度框架。作者指出，现有系统在服务评估中忽略工具返回就绪状态，且用启发式策略决定 GPU 准入与放置。TAO 的价值接口结合近期工具就绪度、带时间衰减的节点缓存信用与 token 占用，并用动态规划在容量约束下联合选择与放置等待会话。作者报告在 12 组模型-负载-并发设置中，延迟最多降低 26.8%，平均首 token 时间最多降低 36.3%，解码吞吐最多提升 29.5%。

要点速读

1. 现有系统忽略工具返回就绪状态，并用启发式策略决定 GPU 准入与放置。
2. TAO 结合工具就绪度、时间衰减缓存信用与 token 占用，用动态规划联合调度。
3. 作者报告 12 组设置下延迟降 26.8%、TTFT 降 36.3%、解码吞吐升 29.5%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/30 08:00:14（北京时间）。