论文提出预算化 KV 缓存修复方法 SUR，仅重算 2-5% 后缀
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载删除文本不等于清空缓存
语言模型智能体在工作过程中会不断改写上下文，把已经过时的信息从提示里删掉。但论文指出，删掉文字并不等于抹去了它对缓存计算的影响：后续生成的那些键值状态，仍然是在被删除内容的基础上形成的条件结果。如果想让模型回到删除前的表现，一种直接办法是把保留下来的后缀整体重算一遍，可这样做的代价很高。作者因此提出「带预算的 KV 缓存修复」这一设定：不追求全部重算，而是由使用者指定一个比例，只对保留下来的后缀中的一部分重新计算，用有限的算力把任务表现拉回来。论文把可用的修复额度称为预算，并在这个约束下比较不同的分配方式。
整块刷新胜过零散刷新
在相关性打分和 token 预算都保持一致的前提下，作者对比了多种修复额度的分配方案，得到一个明确的结论：把预算集中用于刷新语义上连贯的文本区域，效果明显好于去刷新那些彼此孤立的 token。这一观察直接催生了 Semantic-Unit Refresh，也就是语义单元刷新。它的做法是借助成本较低的嵌入分数，找出与当前查询相关的文本区域，再把预算投到这些区域上。整个过程不需要训练，也不需要额外跑一次辅助 transformer 的前向计算，因此不依赖任何额外的模型组件。换句话说，决定「修哪里」这件事本身并不昂贵，昂贵的是执行修复。
分层打包执行修复
为了让这些分散的修复真正跑得快，论文设计了一个分层打包的执行器。它在每一层把被选中的状态放在一起处理，同时又保留完整的因果缓存访问能力，避免因为打包而破坏注意力所需的可见性。作者在五个模型上做了受控删除任务，语义单元刷新只用重算后缀的 2% 到 5%，就取得了较强的恢复效果。在四个自然的多跳问答数据集上，它用 5% 的预算达到了接近全量重算的精确匹配水平，同时编辑后的延迟更低。相比按区间逐个执行的方式，这个执行器对碎片化刷新的加速最高可达 16.1 倍。
适用边界与读者意义
这套方法的适用范围，是那些上下文会随时间变化、需要反复删改的智能体场景。它给出的取舍很清晰：不重算整个后缀，而是用嵌入分数挑出与查询相关的语义单元，再按层打包执行，从而在很小的预算下换回大部分性能。限制也同样明确——修复效果取决于预算比例和相关性打分的质量，论文报告的结果建立在受控删除任务与多跳问答数据集之上，预算比例也停留在个位数百分比区间。对关注推理成本的人来说，这意味着上下文编辑后的性能损失未必需要靠全量重算来弥补，把算力花在连贯的文本区域上，比零散地修补单个 token 更划算。
为什么值得看
上下文删除后缓存仍残留旧信息，这里给出只重算极小比例后缀就能恢复性能的做法，并附执行器加速数据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。