KV²方法实现KV缓存自精炼，极低预算下大幅提升长上下文性能
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载两阶段压缩思路
KV$^2$ 把键值缓存压缩拆成两步。第一步用一个轻量级的代理打分器，在上下文里挑出信息量较高的词元；第二步只对这批被选中的子集做重新处理，据此算出最终的淘汰分数。这种做法与两类已有方案形成对照：一类是查询无关的轻量估计器，开销小但精度偏低；另一类是全上下文重建打分，精度更高却要把整个提示重新过一遍。KV$^2$ 试图在两者之间取一个折中，用一次筛选把需要重算的范围缩小，从而避免对完整上下文做二次处理。
预算收紧时差距拉大
在 RULER、Needle-in-a-Haystack 和 LongBench 三个评测上，KV$^2$ 相对基线的领先幅度会随着缓存预算变小而扩大。以 RULER 16K 为例，当键值缓存预算压到 2% 时，它的平均分比排在后面的最佳基线高出 40 个百分点以上。在 LongBench 上，它在 2% 到 10% 这一区间的预算里取得了最高平均分，同时压缩阶段的运行时间和峰值内存都低于全上下文重建方案。这些结果指向一个结论：可复用的键值缓存压缩并不一定需要把整段上下文重新算一遍。
适用场景与代价
这套方法针对的是查询无关的可复用场景，也就是同一段预先填充好的上下文之后要服务多个不同查询的情形。在这种设定下，缓存的内存占用既限制长上下文模型的实际使用，也在成本中占主导地位。KV$^2$ 的取舍在于：先用廉价打分缩小候选范围，再对子集做较贵的重建，因此最终分数依赖代理打分器筛出的子集是否覆盖了真正重要的词元。论文给出的代码已公开，作者为 Johannes Wesch、Danni Liu 与 Jan Niehues，提交时间为 2026 年 10 月 2 日。
为什么值得看
在极低缓存预算下大幅降本增效，解决长上下文多查询复用场景的显存瓶颈，实用价值高。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。