四张量注意力模型用于语义物理现实

四张量注意力在语义下一句任务上优于一维Transformer基线

资讯摘要

论文提出一种四张量注意力模型，用于预测场景的下一个语义状态，面向视频生成与机器人规划。窗口内状态含位置(x,t)及语义纤维和时间上下文纤维，由单个softmax联合归一化注意力；编码器、渲染器和规划器不在更新范围内。作者在ROCStories上单独测试该更新，验证集上三个匹配设置的末句交叉熵较自由运行的一维Transformer分别降低5.3%、2.6%和2.4%。

要点速读

1. 模型以四张量注意力在窗口内联合归一化语义纤维与时间上下文纤维的注意力，预测场景下一语义状态。
2. 在ROCStories验证集上，三个匹配设置的末句交叉熵比自由运行一维Transformer低5.3%、2.6%、2.4%。
3. H=4、L=2时参数量接近（172.5M与175.9M）；同一双GPU上该模型训练2.4小时，基线45.2小时。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。