PACK3D 提出分离内存布局与注意力几何的 3D 注意力算子
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载打包带来的几何失效
论文讨论的对象是把 3D 体数据压平成 token 序列的做法。作者认为这不只是长序列建模问题：一旦体积被打包，序列顺序就不再承载样本的几何信息，于是任何以序列位置为索引的位置机制，学到的可能是内存排布方式，而不是物体本身的空间结构。作者把这一点称为打包几何数据上注意力的通用失效模式，并强调它并非某个模型的个别缺陷。为验证，作者设计了受控合成任务：训练时固定一种打包方式，之后只改动 token 的内存顺序，物理标注规则保持不变，观察不同位置机制的表现。
PACK3D 的坐标方案
PACK3D 是一个局部-全局注意力算子，目标是把内存布局与注意力几何分开。局部邻域注意力保持精确计算；远距离上下文则被压缩成连续的 3D 块摘要，而不是逐 token 保留。关键在于索引方式：每个 query-key 交互都用真实 token 网格坐标上的轴向 RoPE 来定位，而不是用打包后的序列位置。由于旋转在块被摘要之前就已施加，query 到摘要的 logit 仍然是 query 相对 3D 位移的加权和，压缩后的全局上下文在打包之后依然保有空间可解释性，不会退化成无差别的池化内容。
实验与工程实现
在合成任务上，学习式位置嵌入和打包序列 RoPE 能完美解决训练时的布局，但在 Morton、块连续和随机重打包下都会崩溃，轴向网格坐标 RoPE 则全程保持精确。作者把同一套坐标系统带到真实数据：在 Allen WTC-11 hiPSC 显微图像上，PACK3D 在 15 结构联合任务上超过参数匹配的 3D U-Net，也超过参数匹配的学习位置局部-全局基线；对照实验把增益来源定位在坐标系统，而非编码器容量。工程层面，融合的 Triton 实现在 65k token 时延迟与窗口注意力持平，同时提供窗口注意力无法覆盖的长程上下文，说明该算子不仅能算对，也能在较大规模上训练。
为什么值得看
揭示打包 3D 数据上位置编码的隐蔽失效模式，并给出可扩展到 65k token 的可行算子，对 3D 视觉与长序列注…
信源1 家
关键事实
论文指出，3D 体数据打包成 token 序列后，序列顺序不再编码样本几何，按序列位置索引的位置机制可能学到内存布局而非物体[1]
PACK3D 保持局部邻域注意力精确，仅将远距离上下文压缩为连续的 3D 块摘要，并用真实 token 网格坐标上的轴向 RoPE 索引 query-key 交互[1]
在合成任务中只改变 token 内存顺序，学习式位置嵌入与打包序列 RoPE 在 Morton、块连续、随机重打包下均失效，轴向网格坐标 RoPE 保持精确[1]
在 Allen WTC-11 hiPSC 显微数据上，PACK3D 在 15 结构联合任务上优于参数匹配的 3D U-Net 与学习位置局部-全局基线[1]
融合 Triton 实现在 65k token 下延迟与窗口注意力相当，同时提供窗口注意力不具备的长程上下文[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。