EnvSched：面向智能体强化学习的环境感知调度

EnvSched 用环境级调度提升智能体强化学习的 rollout 效率。

资讯摘要

论文提出 EnvSched，一种从 rollout 历史中学习的在线调度器，用于在有限 rollout 预算下提升语言智能体强化学习效率。它将环境—任务对组织为双关系图，沿环境内与跨环境边传播历史 rollout 统计以预测任务内奖励方差，并结合环境配额与相似度惩罚，把每批数据分配给高预测方差及欠观察的环境和任务。作者报告在 Qwen3-8B 上经 40 步训练，于 BFCL-v3、tau-Bench 和 ACEBench-Agent 平均得分 48.81，超过随机任务选择训练 120 步的最高分。

要点速读

1. EnvSched 将环境—任务对建模为双关系图，环境内边刻画任务语义与共享工具、状态、验证器结构，跨环境边刻画抽象执行与奖励拓扑。
2. 调度器依据预测的奖励方差分配批次，并用环境配额和相似度惩罚控制集中与冗余，无需额外试点 rollout。
3. 作者报告 Qwen3-8B 训练 40 步后三个基准平均 48.81，高于随机选择训练 120 步的最高分，并在相同预算下改善不同规模模型的下游表现。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。