TaskFrame：连接任务级规划与帧级控制的游戏智能体框架

TaskFrame 用分层规划-控制框架在 Minecraft 中提升战斗成功率。

资讯摘要

论文提出 TaskFrame 分层规划-控制框架，将任务级规划与帧级键鼠控制相连。视觉语言任务规划器把高层目标拆解为原子指令序列，经监督学习和依赖感知 GRPO 优化；终止每条原子指令的特殊目标 token 隐藏状态作为连续目标嵌入，缓存后跨控制步复用。因果 Transformer 控制器结合当前目标嵌入与近期观测，逐步预测离散键鼠动作和连续镜头移动。系统分规划器训练、控制器预训练、联合对齐三阶段训练。Minecraft 实验显示，其指令拆解能力与通用视觉语言模型相当，闭环评估中战斗成功率高于所评估基线。

要点速读

1. 论文提出分层规划-控制框架 TaskFrame，由视觉语言任务规划器与因果 Transformer 控制器组成。
2. 规划器用监督学习和依赖感知 GRPO 优化，目标 token 隐藏状态作为可缓存复用的连续目标嵌入。
3. Minecraft 实验中指令拆解与通用视觉语言模型相当，闭环战斗成功率高于所评估基线。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。