新基准显示MLLM即使有可行计划仍受限于3D视觉定位与动作修正。
资讯摘要
论文提出SpaceAct交互式基准及SAPA智能体框架，用积木与机械谜题构建108个实例、36个任务族，要求模型在无特权坐标下旋转相机解遮挡、输出6-DoF位姿并通过碰撞与静力学检查。作者报告10个前沿MLLM在44个最难实例上得分4.8–79.1，七个模型6-DoF任务解决率不超过27.3%；加入参考计划或精确3D状态可显著缩小差距，46%失败源于碰撞或观测循环。
要点速读
- SpaceAct含108个验证实例、36个任务族，覆盖六类任务，不提供特权坐标，并设+plan、+state、no-camera、blind、L7等诊断模式。
- 10个前沿MLLM在44个最难实例上得分4.8–79.1，七个模型最多解决27.3%的6-DoF任务。
- 前三名模型加参考计划缩小44%差距但每回合仍有5.2次碰撞，加精确3D状态缩小90%并将碰撞降至0.5；46%失败为碰撞或观测循环。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。