KV-Surgeon 提出补偿感知的离线 KV 缓存压缩方法
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 KV-Surgeon，用于离线压缩 KV 缓存：先构建一次更小的缓存，之后反复复用，从而降低对固定上下文重复查询的开销。论文指出，已有方法在给待删除条目打分时把其余缓存视为固定，但注意力中的 softmax 重归一化会让各删除决策相互耦合，删掉一个条目会改变其余条目的注意力权重。该方法借助校准数据，用一个二次代理模型以闭式解联合决定贪心删除与剩余条目的补偿。在 QuALITY、LongHealth、Long Code Arena 上，覆盖 4B 至 30B 参数的稠密与混合专家模型，各压缩比下都推进了成本与精度的帕累托前沿；50 倍压缩时问答准确率比注意力匹配最高提升 4 个百分点，另有一个更快的变体，成本仅为其五分之二。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载压缩要解决什么
离线压缩 KV 缓存的目标，是让固定上下文被反复查询时更便宜：一次性构造出更小的缓存，后续查询都复用它。难点在于判断哪些缓存条目该删、哪些该留。已有做法对每个候选条目单独打分，并假定缓存其余部分保持不变。但注意力运算中的 softmax 重归一化会让这些决策以非线性方式相互牵连——删掉一个条目，其余每个条目的注意力权重都会随之改变，因此逐条独立打分与实际效果存在偏差。
方法如何联合决策
KV-Surgeon 借助校准数据，以可计算的方式把条目之间的相互作用纳入考虑。论文推导出一个二次代理目标，并给出闭式表达式，用来同时确定最优的贪心删除决策，以及在剩余条目内部进行的补偿。也就是说，删除与补偿不再是两个割裂的步骤，而是在同一目标下联合求解，从而缓解逐条打分忽略耦合所带来的精度损失。
评测结果与成本
论文在 QuALITY、LongHealth 与 Long Code Arena 三个基准上评测，覆盖 4B 至 30B 参数的稠密模型与混合专家模型，并在每一个考察的压缩比下都推进了成本与精度的帕累托前沿。在 50 倍压缩时，问答准确率相比注意力匹配（Zweiger 等，2026）这一当前最优方法最高提升 4 个百分点，而成本相当。论文还给出一个更快的变体，同样超过当前最优，且只需后者五分之二的成本。
为什么值得看
长上下文复用场景下，压缩比与精度如何取舍是实际部署的痛点，该方法给出了可复用的离线压缩思路与量化收益。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。