LatentIndex实现跨层共享稀疏注意力，大幅降存储并提速
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载跨层共享隐缓存
稀疏注意力虽然削减了核心注意力计算量，但负责挑选 token 的索引器本身仍要反复做选择，并且每一层都要单独保存 key 缓存。已有的做法是把某一层选出的离散索引直接给其他层复用，这样确实省掉了重复挑选，代价是若干层被迫使用同一套 token 集合，层与层之间的差异被抹平。LatentIndex 换了一个共享对象：不再共享选好的离散结果，而是共享连续表示。具体来说，每个层组以组内第一层的隐藏状态构造一份共享的隐缓存，各层仍保留自己的打分方式，因此可以独立决定选哪些 token。为了不必把历史 key 逐层重建出来，该方法把 key 解码器吸收进 query，使打分可以直接在共享缓存上进行。作者还给出了免训练的校准方案，并尝试了一种把训练过程纳入考虑的实例化方式。
四层共享省下六成
在存储开销上，论文给出的数字来自四层共享的设定：在 DeepSeek-V3.2 上，逻辑上的索引器缓存占用下降 61.1%。这个比例对应的是索引器缓存这一项，而不是整个模型的显存或全部 KV 缓存，因此不能直接外推到端到端的内存节省。质量方面，免训练的 LatentIndex 在 DeepSeek-V3.2 与 GLM-5 两个模型上，把 head-wise attention-mass recall 相对 IndexCache 最多提升 3.28 个百分点，同时在 RULER 与 LongBench 上的表现接近原生 DSA。也就是说，跨层共享连续表示并没有以明显掉点为代价换来缓存缩减，召回指标反而有所改善。
分层选择换速度
为了在质量与计算之间取得平衡，作者提出分层选择（HS）变体：由锚点层先给出一个共享的候选集合，后续层在这个集合内部各自做细化，而不是完全独立地重新挑选。这样既保留了共享带来的复用收益，又给每层留出调整空间。在 8K 到 128K 的上下文长度区间内，HS 相对 DSA 取得 2.30 到 2.72 倍的解码索引器加速，同时保留了 LatentIndex 的大部分召回能力。需要留意的是，这些加速数字限定在解码阶段的索引器环节，且测试上下文最长到 128K，并不等同于整机吞吐或首 token 延迟的同等倍数提升。
对使用者的意义
这项工作提供的思路是：跨层索引可以共享连续表示，而不必共享离散选择，从而在复用与层间差异化之间找到折中。对已经采用稀疏注意力、并受索引器缓存与重复选择拖累的推理部署来说，四层共享带来的缓存缩减和 HS 带来的解码加速是有参考价值的量级；但论文中的收益均在特定模型与特定上下文范围内测得，实际落地时还需结合自身的层数分组、上下文长度分布以及可接受的召回损失来权衡。
为什么值得看
跨层共享连续表征而非离散选择，在大幅降低缓存与加速解码的同时保持各层独立选词与性能，对长上下文推理优化极具价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。