DCKV：首个端到端训练的 KV 缓存编解码器，压缩率超 55 倍
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
混合语言模型只在少数全注意力层保留 KV 缓存，但该缓存仍随提示长度增长，存储与迁移成本高。论文提出 DCKV，一个可微的 KV 缓存编解码器，也是首个端到端训练的此类编解码器：其变换、量化器与熵模型以提示 token 和已解码的相邻位置为条件，并针对冻结的语言模型联合优化，优化目标同时包括熵模型给出的码长和模型输出的变化。在 Qwen3.5-2B 上，DCKV 存储压缩后 token 的字节数比 bf16 少 55 倍以上，三项长上下文基准最多损失 1.8 分；字节数少 100 倍以上时，最多损失 3.6 分。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载缓存为何仍是负担
混合语言模型把 key-value 缓存限制在少数全注意力层中，相比全注意力模型已减少缓存规模。但论文指出，这部分缓存仍属于随提示长度增长的提示状态，若要复用提示，就必须把它存储下来或搬运到别处。也就是说，缓存压缩的收益直接对应长上下文场景下的内存占用与传输开销，这是该工作要解决的问题范围。
端到端训练的做法
DCKV 把 KV 缓存编码拆成变换、量化器与熵模型三部分，三者都是可微的，因此可以一起训练。熵模型的条件输入包括提示 token 以及已经解码的相邻位置，使编码能利用上下文信息。训练时语言模型保持冻结，优化目标同时考虑两项：熵模型为码字分配的长度，以及压缩再解码后模型输出的变化。这种联合优化让压缩率与任务精度之间的取舍在训练阶段就被纳入，而不是事后调参。
压缩率与精度代价
在 Qwen3.5-2B 上的结果显示，DCKV 用比 bf16 少 55 倍以上的字节数存储压缩后的 token，三项长上下文基准的得分最多下降 1.8 分；把字节数进一步压到少 100 倍以上时，最大损失为 3.6 分。论文给出的是两个可对照的工作点，读者可据此判断在自身可接受的精度损失下能换取多大的缓存体积缩减。实验覆盖三项长上下文基准，论文正文含 7 幅图与 14 张表。
为什么值得看
长上下文复用中 KV 缓存的存储与传输是实际瓶颈，该工作给出可端到端训练、压缩率与精度损失可量化的方案。
字节Qwen量化论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。