研究揭示混合模型在无位置编码全局注意力中隐式编码机制
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载注意力本身不含位置
注意力运算在默认状态下对位置并不敏感，同样的词序调换后，运算结果不会因此改变。而自然语言里词序本身携带意义，所以基于 transformer 的模型通常会额外引入显式的位置编码方案，旋转位置编码就是其中被广泛采用的一种。长期以来，显式位置编码被当作不可或缺的组件。不过近期出现的一类做法打破了这一假设：把局部混合层与全局注意力层交错堆叠，其中滑动窗口注意力和门控线性注意力属于局部混合层，而全局注意力层则完全不加入位置编码，这类被称为 NoPE 的全局层在较大规模上被证明可以正常工作。论文关注的核心问题正是这种组合为何有效、位置信息究竟从哪里来。
局部层带来近因偏向
论文给出的解释是，滑动窗口注意力和门控线性注意力会在残差流中引入一种近因偏向，也就是让越靠近当前位置的表示获得越强的权重。这种偏向并非停留在局部层内部，而是沿着残差流继续向后传递，最终被全局注意力的 logits 选中并利用。作者同时给出了理论推导与实验证据来支撑这一论点。作为对照，如果模型只使用全局 NoPE 注意力，位置信息就只能来自因果掩码，其可维持的范围有限；而在混合结构中，近因偏向能够在长序列上保持住，这是两类结构之间的关键差别。
对长序列外推的意义
这项工作的价值不止于解释混合模型如何隐式编码位置。作者提出，相关发现或许能为设计位置编码提供思路，使模型在序列长度不断增长时仍能外推，而不必受限于训练阶段见过的长度。需要说明的是，论文的论证建立在滑动窗口注意力与门控线性注意力这两类局部混合层之上，讨论对象是全局 NoPE 层中的位置信息来源，并未覆盖其他类型的局部结构。对关注长上下文建模的读者而言，这意味着位置编码未必需要显式写入全局注意力，局部层的堆叠方式本身就可能承担这一职责。
为什么值得看
揭示SWA等局部混合层隐式提供位置信息的机制，为构建无需显式位置编码且支持无限长度外推的模型提供理论依据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。