SpatialMem 用 3D 结构锚点组织视频记忆，提升空间推理与检索。
资讯摘要
论文提出 SpatialMem，一种将 3D 几何、语义与语言整合为可查询表示的记忆系统：从日常第一视角 RGB 视频重建度量尺度的室内场景，先识别墙体、门窗等结构锚点，再把开放词汇物体节点关联到 3D 坐标及证据帧。作者报告在 VSI-Bench 上仅用 RGB 得 37.5 分，房间尺寸项 41.4 高于同规模帧模型的 24.4；OpenEQA 上以证据帧检索可恢复帧级准确率，且预算收紧时领先。
要点速读
- SpatialMem 以结构锚点为第一层骨架，将开放词汇物体节点关联到 3D 坐标、证据帧与两层描述，无需特殊传感器。
- VSI-Bench（288 个视频、5130 题）上仅用 RGB 总体 37.5 分，房间尺寸项 41.4，对比同规模帧模型 24.4。
- OpenEQA 情节记忆任务（953 题）中，记忆序列化为文本低于盲对照，但作为证据帧检索可恢复帧级准确率；12 个 ScanNet 场景上锚点优先层级把检索物体归到正确结构父节点为 0.24，开放词汇 3D 场景图为 0.01；不含证据帧的索引每场景 14KB。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。