上下文压缩可让世界模型在窗口外最多4倍处检索房间。
资讯摘要
论文将世界模型重访区域时无法一致重建视为上下文检索问题，指出以往工作多只关注模型层的 KV 缓存，而忽略了智能体框架层。作者构建了每回合生成新世界的基准，用于衡量世界模型的上下文检索能力，并区分检索与基于邻近帧的猜测；同时提出一个为世界模型执行上下文压缩的智能体框架。作者报告，上下文压缩使模型无需重训练即可在上下文窗口外最多 4 倍处检索房间，但采用滑动窗口注意力的模型在 dreaming 时大部分检索能力会丢失。
要点速读
- 论文构建基准，每回合生成新世界，避免模型靠训练数据回忆房间，并将上下文检索与邻近帧猜测分开。
- 作者提出为世界模型做上下文压缩的智能体框架，称此前无相关研究。
- 作者报告上下文压缩让世界模型无需重训练即可在上下文窗口外最多 4 倍处检索房间；滑动窗口注意力模型在 dreaming 时丢失大部分检索能力。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。