注册

LoopVQ 提出面向循环 Transformer 的亚 1 比特 KV 缓存…

论文AI 评分 78/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

LoopVQ 针对循环 Transformer 的 KV 缓存随循环步数线性增长这一内存瓶颈，利用缓存沿循环轴高度冗余、各循环步对量化敏感度差异大的特点，把多个循环步的通道联合编码，并微调码本以对齐全精度模型输出。在 Ouro 与 Huginn 模型上，0.5 比特/元素时优于面向标准 LLM 的现有 KV 缓存向量量化方法；与 TaSQ 结合后，0.25 比特/元素仍保留大部分 BF16 精度。该方法已在 SGLang 中实现，32K 上下文下解码延迟接近减半，1.4B 与 2.6B Ouro 模型的峰值服务吞吐相比 BF16 基线分别最高提升 4.3 倍与 6.1 倍。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

循环架构的内存痛点

循环 Transformer 通过多次复用同一批层来减少参数量，近期一些循环语言模型在效果上能追平参数量数倍于己的非循环模型。但参数内存省下来之后，推理阶段的内存开销转移到 KV 缓存上：每个循环步都要单独保存自己的键和值，缓存规模随循环步数线性上涨，成为这类模型部署时的主要瓶颈。论文的出发点正是这一结构性矛盾，而不是通用 LLM 的缓存压缩问题。

冗余与敏感度两个观察

作者观察到两点：其一，循环模型的 KV 缓存沿循环轴存在大量冗余，不同循环步之间信息重复度高；其二，各循环步对量化的敏感程度差别明显，统一处理并不合适。LoopVQ 据此把多个循环步的通道放在一起联合编码，并对码本做微调，使量化后的输出尽量贴近全精度模型的结果。这一设计针对循环结构本身，与面向标准 LLM 的 KV 缓存量化方法互不冲突，可以叠加使用。

精度与部署实测

在 0.5 比特/元素这一压缩率下，LoopVQ 在 Ouro 与 Huginn 模型上覆盖通用任务、长链式思维推理和长上下文检索三类场景，表现超过现有面向标准 LLM 的 KV 缓存向量量化方法。与 TaSQ 组合后，即使压到 0.25 比特/元素，仍能保住大部分 BF16 精度。工程侧，作者把方法实现在 SGLang 中：32K token 上下文时解码延迟接近减半；相比 BF16 基线，1.4B 和 2.6B 两个 Ouro 模型的峰值服务吞吐分别最高提升 4.3 倍和 6.1 倍。这些数字说明收益不只停留在离线指标，也体现在实际服务框架的吞吐与延迟上。

为什么值得看

循环架构省参数但 KV 缓存吃内存，这项工作把缓存压到 1 比特以下并给出推理框架实测吞吐，对长上下文部署有直接参考价…

微调量化对齐

信源1 家

  1. [1]arXiv cs.AI一手信源LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers

关键事实

  • 循环 Transformer 每步都存自己的键值，KV 缓存随循环步数线性增长，成为主要内存瓶颈[1]

  • LoopVQ 联合编码多个循环步的通道，并微调码本以匹配全精度模型输出[1]

  • 0.5 比特/元素下，LoopVQ 在通用、长链式推理与长上下文检索任务上优于面向标准 LLM 的现有 KV 缓存向量量化方法[1]

  • 与 TaSQ 结合，0.25 比特/元素仍保留大部分 BF16 精度[1]

  • 在 SGLang 中实现后，32K token 上下文解码延迟接近减半，1.4B 与 2.6B Ouro 模型峰值吞吐分别最高提升 4.3 倍与 6.1 倍[1]

相关 · 论文

Axiom Math 融资 16 亿美元，为 AI 数学构建可验证基础

11月6日 周五·AI 72

BEAKER：面向自动驾驶化学实验室的具身智能基准发布

11月5日 周四·AI 68

FrontierPhysics 基准发布：56 项任务考察智能体端到端物理研究

11月5日 周四·AI 78

HALO 人形机器人系统：仿真训练实现零样本真机迁移，成功率 91%

11月5日 周四·AI 82

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论