DAMI 提出双轴记忆初始化，提升门控线性注意力长上下文检索
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对门控线性注意力有限状态记忆影响长上下文检索的问题，论文提出 DAMI 方法：在训练前联合配置门控参数 A_log 与 dt_bias，按头分配几何时间尺度以覆盖不同检索距离，并在层间采用低-高-低的输入敏感度分布，再用少量激活样本校准，不增加可训练参数。在 GDN、KDA、GDN2、Mamba-2、RWKV-7 上，RULER 类检索平均准确率较随机初始化基线提升 5.29 至 16.71 个百分点，语言建模、常识推理与 2K 真实检索表现基本持平。代码已公开。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题出在初始化
线性注意力随序列长度线性扩展，但有限状态记忆会限制长上下文检索能力。在门控线性递归中，记忆能保留多久取决于状态衰减，而状态衰减由门控参数 A_log、dt_bias 和输入激活共同塑造。作者在受控 GDN 实验中观察到，训练结束后这两个参数仍与各自的初始值高度相关，说明初始化在很大程度上决定了模型最终的记忆行为，而不是训练过程能轻易改写的结果。
双轴配置怎么做
DAMI 的思路是在训练开始前就把这两个参数配置好，分两个轴展开。第一个轴是头维度：为不同注意力头分配几何间隔的时间尺度，使不同头负责不同距离的检索。第二个轴是层维度：让各层的输入敏感度呈现低-高-低的分布。为了让 GDN 系列的具体实现同时满足这两个目标，方法借助一小份激活样本做校准，整个过程不引入任何新的可训练参数。
跨模型的效果与边界
作者在 GDN、KDA、GDN2、Mamba-2 和 RWKV-7 五种模型上验证，RULER 风格检索的平均准确率相比各自随机初始化的基线提高 5.29 到 16.71 个百分点。与此同时，语言建模、常识推理以及 2K 规模的真实检索任务上，表现与基线大体相当，没有出现明显退化。论文代码已公开，便于在 GDN 家族实现上复现这套初始化配置。
为什么值得看
不增加参数、只改初始化就能让多种线性注意力模型的长上下文检索明显变好，方法可直接复用。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。