ADPTNet提出非线性SSM，兼顾长程依赖与GPU并行
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载四条性质同时满足
这项工作把目标定在同时具备四种能力：数据自适应、能捕捉长距离依赖、可在 GPU 上并行、并且是非线性循环结构。作者认为，只有这四点齐备，才谈得上替代以 Transformer 为代表的序列建模方案。ADPTNet 的核心构造是局部拓扑共轭，做法是把线性注意力与黎曼优化组合起来，作用在静态的全局动力学之上。这样得到的系统虽然是非线性的，长期行为却仍然可以预测。论文借助动力系统理论的证明，为网络时间尺度的参数化控制提供了理论保证，作者用李雅普诺夫谱来描述这一时间尺度。
与已有方案的对比
在选择性复制任务上，ADPTNet 的成绩优于 Hawk，而 Hawk 是此前在长程记忆与自适应之间取得平衡的方案。在状态跟踪方面，它比 Mamba 这类线性状态空间模型表现更好。在 sequential CIFAR-10 上，ADPTNet 达到了与线性状态空间模型相当的准确率，并且在使用更少参数的情况下超过了包括 Transformer 在内的已有选择性模型。作者还给出了一个神经形态版本 SpikingADPTNet，它在 Spiking Speech Commands 数据集上取得了新的最优准确率。
并行仿真的两条扩展
由于 ADPTNet 的时间尺度是恒定的，作者在 DEER 并行仿真算法上做出了两种无需计算雅可比矩阵的扩展，分别称为 Conv DEER 与 Forward DEER，二者保持了相同的平均收敛性。其中 Conv DEER 除了网络本身的前向传播之外不增加额外计算开销，并且首次让非线性循环神经网络可以通过迭代卷积实现并行化。论文同时归入神经与进化计算、人工智能、分布式并行与集群计算等方向，作者为 Matei-Ioan Stan 与 Oliver Rhodes，提交时间为 2026 年 9 月 27 日。
为什么值得看
首次实现非线性RNN无额外开销并行化，且多指标超越Mamba与Transformer，为替代高耗能架构提供新解。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。