PACK3D：让打包3D注意力保留几何结构

PACK3D用真实网格坐标RoPE替代打包序列位置，避免几何信息丢失。

资讯摘要

论文指出，将3D体数据打包成token序列后，序列顺序不再编码样本几何，按序列位置索引的位置机制可能学到内存布局而非物体本身。作者提出PACK3D局部-全局注意力算子，在真实token网格坐标上施加轴向RoPE，仅把远距离上下文压缩为连续3D块摘要。合成任务中，打包序列RoPE在Morton、块连续和随机重排下失效，而轴向网格坐标RoPE保持准确；在Allen WTC-11显微数据上，PACK3D优于参数匹配的3D U-Net和局部-全局基线。

要点速读

1. 论文识别出打包3D几何数据上注意力的通用失效模式：位置机制可能学习内存布局而非物体几何。
2. PACK3D保持局部邻域注意力精确，仅将远距离上下文压缩为连续3D块摘要，并用轴向RoPE按真实token网格坐标索引查询-键交互。
3. 合成实验中，打包序列RoPE在Morton、块连续和随机重排下失效，轴向网格坐标RoPE保持准确；在Allen WTC-11 hiPSC显微数据上，PACK3D优于参数匹配的3D U-Net和匹配的局部-全局基线。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。