注册

LSA 稀疏注意力方法：百万级上下文下提速最高 72.4 倍

论文AI 评分 78/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 Latent Sparse Attention（LSA），针对超长上下文（超过 100 万 token）下全注意力开销过大的问题。该方法在学习到的隐空间中对 key 做层次聚类，让 query 只对聚类层级打分，而不必逐 key 计算，从而加速 prefill、decode 与训练。作者给出两个变体：D-LSA 通过蒸馏套用到预训练模型，N-LSA 仅用下一 token 损失原生训练。在 GLM-5.3-FLASH（QWEN-3.8-27B）的 1000 万 token 场景下，D-LSA 单层注意力 prefill 提速 22.7 倍（相对全注意力 72.4 倍），decode 提速 4.6 倍（相对全注意力 42.5 倍），多任务精度接近；N-LSA 在 128k token 下单层训练提速 1.6 倍并追平全注意力精度。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

要解决的问题

论文把背景放在 agentic 工作流上：这类任务趋向长周期、开放式科研工作，模型需要很长的上下文窗口。但上下文超过 100 万 token 后，全注意力的成本高到难以承受。稀疏注意力是常见思路，即由一个专门的 indexer 挑出一部分 key 参与注意力计算；问题在于现有索引方法要么在上下文规模上仍是二次开销，要么在超长上下文时精度下降。LSA 的目标是在超长上下文下同时保住精度与效率。

方法：在隐空间里聚类

LSA 的做法是把 key 在学习到的隐空间中做层次聚类，query 不再对每个 key 打分，而是对聚类构成的层级打分，由此减少需要比较的对象数量。这一改动同时作用于三个阶段：prefill、decode 和训练，在长上下文时都能变快。作者给出两个落地路径：Distilled-LSA（D-LSA）面向已经训练好的模型，通过蒸馏把该注意力机制装进去；Native-LSA（N-LSA）则不依赖蒸馏，只用下一 token 损失从头训练。

实测加速与精度

实验在 GLM-5.3-FLASH（QWEN-3.8-27B）上进行，上下文长度为 1000 万 token。D-LSA 在单个注意力层上，prefill 相对原稀疏注意力快 22.7 倍，decode 快 4.6 倍；若与全注意力相比，这两个数字分别为 72.4 倍和 42.5 倍，同时在多种任务上保持相近精度。N-LSA 在 128k token 下达到与全注意力相当的精度，单层训练提速 1.6 倍。论文的结论是，LSA 为模型利用超长上下文提供了一种实用且高效的注意力方案。

为什么值得看

超长上下文的主要瓶颈在注意力成本，这篇给出了可蒸馏到现有模型、且带具体加速倍数的方案。

Qwen蒸馏论文

信源1 家

  1. [1]arXiv cs.AI一手信源Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention

关键事实

  • LSA 在学习到的隐空间中对 key 做层次聚类，query 对聚类层级打分而非逐 key 打分[1]

  • D-LSA 通过蒸馏应用于预训练模型，N-LSA 仅用下一 token 损失原生训练[1]

  • 在 GLM-5.3-FLASH（QWEN-3.8-27B）的 1000 万 token 下，D-LSA 单层 prefill 提速 22.7 倍、decode 提速 4.6 倍[1]

  • 相对全注意力，同一场景 prefill 提速 72.4 倍、decode 提速 42.5 倍，多任务精度相近[1]

  • N-LSA 在 128k token 下单层训练提速 1.6 倍，精度与全注意力持平[1]

相关 · 论文

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

11月1日 周日·AI 78

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测

10月31日 周六·AI 72

ID-WM 分层世界模型提出，长程任务性能提升 135%

10月31日 周六·AI 72

RoboArchitect 用编码模型自动设计机器人智能体外壳，不更新权重

10月31日 周六·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论