HiSTEVE 1.0：面向开放世界游戏的人机界面 VLA 智能体

HiSTEVE 用分层 VLA 在 Minecraft 中实现原生键鼠长程任务。

资讯摘要

论文提出 HiSTEVE，一个带能力感知智能体框架的分层 VLA 智能体，用于在 Minecraft 中像人类玩家一样通过原生键鼠操作完成任务。编排层用结构化记忆跟踪进度，并由 VLM 规划器在 VLA 能力范围内选择子任务；控制层由单个 VLA 以纯视觉感知执行全部子任务。作者报告其在 MineStudio Bench 上原子任务得分 85.0%，OpenHA 平均成功率 37.4%，并能从零制作铁镐。

要点速读

1. 编排层包含结构化记忆与 VLM 规划器，并引入策略耦合的任务完成状态检测器判断子任务是否完成。
2. 控制层用单个 VLA 以视觉感知和原生键鼠动作执行子任务，并通过分场景 RMSNorm 分支与独立鼠标移动 token 嵌入减少 GUI 与非 GUI 交互干扰。
3. 作者报告 MineStudio Bench 原子任务得分 85.0%、OpenHA 平均成功率 37.4%，并完成从零制作铁镐的长程任务。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:26（北京时间）。