GAAC：面向个人设备的无损 KV 缓存压缩系统
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载压缩思路与编码方式
GAAC 针对的是权重已量化之后仍然膨胀的 KV 缓存。它不采用有损近似，而是利用 BF16 指数位中的冗余：对每个通道校准出一组 base-plus-offset 码，在连续区间上表示指数值，并在较小的分组范围内自适应选择码宽。这样做的结果是 KV 数值逐位保持不变，压缩不引入任何精度损失。与只压缩权重、放任 KV 缓存增长的做法相比，GAAC 把优化目标放在长上下文推理时真正吃内存的那一部分。
内核与服务端设计
为了让压缩不拖慢计算，GAAC 配套了一个融合注意力内核，在计算过程中按需重建 KV 分块，而不必先把整个缓存解压出来。存储侧采用分块压缩与固定容量槽位，从而支持缓存的增量更新和分页式服务。这两点决定了它不只是离线压缩格式，而是可以直接嵌入推理服务流程的组件，在缓存持续写入的场景下仍能工作。
实测数据与平台覆盖
论文在五个模型上测得 1.405-1.407 倍的无损 BF16 KV 压缩比；对低精度缓存也做了测试，FP8 E4M3 为 1.09-1.14 倍，E5M2 为 1.25-1.30 倍，说明精度越低可挖掘的冗余越少。在 NVIDIA DGX Spark 上，64K token 上下文的解码注意力加速 1.19-1.27 倍，W4A16 端到端解码步骤加速 1.04-1.15 倍；服务场景中常驻 KV 内存下降约 26%，在相近的 KV 内存预算下总吞吐提升 13-29%。在 Apple M4 上注意力加速 1.02-1.25 倍，表明方案不局限于 NVIDIA GPU。
为什么值得看
长上下文推理的 KV 缓存是个人设备上的瓶颈，该方案在不损失精度的前提下压缩缓存并提升吞吐，且已跨 NVIDIA 与 …
信源1 家
关键事实
GAAC 通过按通道校准的 base-plus-offset 编码表示 BF16 指数，并在小分组内自适应码宽，KV 值保持逐位一致[1]
在五个测试模型上实现 1.405-1.407 倍无损 BF16 KV 压缩[1]
FP8 E4M3 缓存压缩为 1.09-1.14 倍，E5M2 缓存为 1.25-1.30 倍[1]
在 NVIDIA DGX Spark 上 64K token 上下文解码注意力加速 1.19-1.27 倍，W4A16 端到端解码步骤加速 1.04-1.15 倍[1]
服务场景下常驻 KV 内存减少约 26%，同等 KV 内存预算下总吞吐提升 13-29%；Apple M4 上注意力加速 1.02-1.25 倍[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。