ZHA 提出树状索引器，把注意力复杂度降到次二次
论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文针对注意力随序列长度二次增长这一长上下文瓶颈，提出 Zyphra Hierarchical Attention（ZHA）：在 KV cache 上递归压缩出键摘要树，查询自顶向下遍历，取出稀疏键子集。随着树深迭代增加，路由与最终注意力的总开销在序列长度上呈次线性，整体注意力达到次二次但超线性。方法只需在数十亿 token 上做短程 KL 蒸馏，即可套用到已有预训练模型，并在长上下文检索及推理、数学、智能体编程评测上保持表现；对树形结构稳健，最深测到 6 层。作者称在超过 100 万上下文时明显优于对比方法，有望把有效上下文扩展到数亿乃至数十亿 token。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
论文指出，注意力开销随序列长度二次增长，是限制大模型长上下文能力的根本瓶颈。已有绕行方案分两类：滑动窗口或固定大小状态的线性注意力等变体，表达力不及完整注意力；稀疏注意力虽降低计算量，但其索引器本身仍按二次规模增长，因此只带来常数级加速。ZHA 的目标是让包含索引在内的整条注意力路径都摆脱二次增长。
树状索引器怎么工作
ZHA 在 KV cache 之上构建一棵键摘要树：对键做递归压缩，形成分层摘要节点。新来的查询从树顶开始向下遍历，逐层收窄范围，最终只对一小部分键做精确注意力。关键在于树的深度是迭代增长的，路由开销与末端注意力开销合计随序列长度呈次线性，从而使整体注意力达到次二次、但仍高于线性的复杂度。作者还建立了性能模型，用来说明这一缩放关系，并称在超过 100 万上下文时明显优于对比方法。
改造成本与实测范围
对已有预训练模型，ZHA 不需要从头训练：只需在数十亿 token 上做一段较短的 KL 蒸馏训练，即可把树状索引接入现有模型。论文报告该方法在长上下文检索以及推理、数学、智能体编程等评测任务上保持表现。稳健性方面，作者测试了多种树形几何，包括深达 6 层的深树，结果对树结构不敏感。作者据此提出，该路线有潜力把有效上下文窗口推进到数亿乃至数十亿 token 的量级。
为什么值得看
长上下文的核心成本瓶颈在注意力本身；该方案给出可套用到现有模型的改造路径与复杂度分析，值得关注其落地成本。
智能体蒸馏论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。