INFRAMIND：面向服务负载的多智能体编排

多智能体推理编排需随服务负载动态调整

资讯摘要

论文提出 INFRAMIND，一种分层策略，让多智能体 LLM 系统根据共享服务队列的负载与剩余时间预算，动态选择协作图、模型与推理策略。作者报告在五个基准上低负载准确率最高提升 7.6 个百分点；在 500 道 MATH 题、10–300 秒截止时间下，按时答对比例从 20.4% 升至 33.8%，15 模型 Azure 时序回放场景下从 11.6% 升至 54.8%。

要点速读

1. 规划器在请求到达时依据任务信息、负载和时间预算选择协作图，执行器在每次智能体调用前联合选择模型与推理策略。
2. 作者报告在共享五模型部署的五个基准上，低负载准确率较最强基线最高提升 7.6 个百分点。
3. 500 道 MATH 题、匹配 EDF 调度与 10–300 秒截止时间下，按时答对比例由 20.4% 升至 33.8%；15 模型 Azure 时序回放中由 11.6% 升至 54.8%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。