KronLSTM 提出 Kronecker Delta Rule，面向长上下文…
论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究者提出 KronLSTM，一种基于 Kronecker Delta Rule 的线性注意力架构。该规则用于关联矩阵记忆的更新：修正特定关联时，只在矩阵空间的单一方向上改动记忆，从而减少对已存信息的干扰，相比 delta-rule 更新更适合长上下文语言建模。其记忆动态可描述为收敛到稳态分布的马尔可夫链，记忆矩阵的期望范数在整条输入序列上始终有界，因此无需额外的归一化与稳定机制。实验显示其与现有线性注意力架构（含 Gated DeltaNet 家族）相比具有竞争力，且常优于后者，在长上下文基准上表现突出。代码与模型已开源。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载更新规则怎么改
KronLSTM 的核心是 Kronecker Delta Rule，一种针对关联矩阵记忆的新更新规则。与 delta-rule 更新相比，它在修正某个目标关联时，只沿矩阵空间的单一方向改动记忆，而不是牵动更多方向。作者把这种做法称为最小侵入的记忆修正，其直接目的是降低对先前已存信息的干扰。这一特性被作者认为特别适合长上下文语言建模，因为长序列中旧信息被反复覆盖的风险更高。
稳定性来自结构本身
论文给出了记忆动态的数学刻画：整个过程可描述为一条马尔可夫链，并收敛到稳态分布；同时记忆矩阵的期望范数在整条输入序列上始终有界。这意味着模型不需要为记忆状态额外加归一化或稳定机制，稳定性由更新规则本身保证。作者据此把 Kronecker Delta Rule 定位为一种可解析、可追踪的基础，用于循环线性注意力架构中的稳定关联记忆。
实验结果与开放情况
实验部分，KronLSTM 与现有线性注意力架构进行比较，对手包括 (Gated) DeltaNet 家族模型。结果显示 KronLSTM 具有竞争力，并且经常超过这些对比模型，在长上下文基准上的表现尤为突出。论文同时公开了代码与模型，均以开源形式发布，便于复现与后续对比。
为什么值得看
给出一种可解析、无需额外稳定机制的线性注意力记忆更新规则，长上下文基准表现优于 DeltaNet 家族，代码模型开源。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。