Adaptive DHiSparse 让稀疏 KV 缓存支持投机解码并按负载调…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
论文指出长上下文服务往往在硬件达到可用吞吐之前就先耗尽 KV 显存。已有的 HiSparse 把历史放在主机内存、只取回被选中的条目，但它在任何负载下都用同一份缓存预算，也不支持 DSpark、DFlash2 这类草稿模型投机解码。Adaptive DHiSparse 的出发点就是补上这两点：让稀疏 KV 与投机解码共存，并让驻留量随负载变化。
具体做法
方案在负载高时保护必需的工作集，在 GPU 显存有富余时多保留一部分历史，剩下的部分通过精确融合检索取回。DSpark 和 DFlash2 的提议与接受规则没有被改动，改动集中在配套机制上：查询之间共享缺失行的检索，草稿 KV 使用窗口受限的环形缓冲，验证阶段的暂存空间在多个层组之间复用。论文共 16 页，含 11 张图和 6 张表。
实测数字
在 100K 上下文、并发 128 的条件下，GLM-5.3 搭配 DFlash2 每块解码 GPU 输出 793 token/s，是 HiSparse 的 1.45 倍，也是非投机自适应服务的 1.27 倍。若把延迟限制压到与 HiSparse 相同，它能支撑的并发最高到 4 倍，输出量则视每 token 延迟上限不同为 2.3 至 3.7 倍。在 DeepSeek-V4.1-Flash 上，500K 上下文、并发 512 时搭配 DSpark，输出是常驻服务加 DSpark 的 1.85 倍。负载切换过程中，可选驻留把主机取数从选中行的 14.2% 降到 1.4%，并在压力上升时释放内存。
为什么值得看
长上下文推理的瓶颈常在 KV 显存而非算力，这篇给出了稀疏缓存与投机解码结合的具体吞吐与并发数据。
信源1 家
关键事实
论文提出 Adaptive DHiSparse，在分层稀疏 KV 上支持投机解码，并按负载调整驻留策略[1]
DSpark 与 DFlash2 保留原有提议与接受规则，查询共享缺失行检索，草稿 KV 用窗口受限环形缓冲[1]
100K 上下文、并发 128 时，GLM-5.3 配 DFlash2 达每解码 GPU 793 输出 token/s，为 HiSparse 的 1.45 倍[1]
相同延迟约束下并发可达 HiSparse 的 4 倍，输出为 2.3 至 3.7 倍[1]
DeepSeek-V4.1-Flash 在 500K 上下文、并发 512 下配 DSpark，输出为常驻服务的 1.85 倍[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。