ACCT 提出同族不同规模模型间的 KV 缓存迁移方法
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文提出 ACCT，用于同一模型家族内不同规模模型之间的 KV 缓存迁移。它把源模型生成的 KV 缓存转换为稀疏 KV 状态，供目标模型直接使用，从而让目标模型不必重新处理原始上下文。方法由三个轻量组件构成：Cartographer 定位与查询相关的上下文 token，Allocator 在共享 KV 预算下分配各层与各 KV 头保留的 token 数量，Compiler 完成源 KV 到目标稀疏 KV 的转换。在五个通用能力基准和六个强上下文依赖任务上，KV 缓存缩减 75% 时性能仍与目标模型原推理持平或更好；上下文约 19K token 时，KV 转换比目标模型重新预填充快 6.5 至 21.2 倍。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
论文指出，实际部署中的 LLM 系统正从调用单一模型转向异构部署，即按需动态调用不同模型做推理。同一份上下文在多个模型间复用时，新选中的目标模型通常要重新处理一遍，反复产生可观的计算开销。ACCT 针对的正是这一环节：让上下文计算在模型之间复用，把上下文计算与下游推理解耦，而不是每次换模型都从头预填充。
三个组件的分工
ACCT 把源模型产出的 KV 缓存转成目标模型可直接消费的稀疏 KV 状态，由三个轻量部件协作完成。Cartographer 负责在每个目标层和每个 KV 头上识别与查询相关的上下文 token；Allocator 在共享的总 KV 预算约束下，决定各目标层与各 KV 头分别保留多少上下文 token；Compiler 则把选中的源 KV 转换为目标模型所需的稀疏 KV。完成转换后，目标模型直接用迁移来的 KV 推理，无需再处理原始上下文。
实测收益与边界
评测分两类场景：五个通用能力基准，以及六个高度依赖上下文的任务。结果显示，即使把 KV 缓存规模压缩 75%，ACCT 的表现仍与目标模型自身推理持平甚至更好。在约 19K token 的上下文长度下，其 KV 转换相对目标模型的上下文预填充有 6.5 至 21.2 倍加速。论文将结论落在有限 KV 预算下跨模型迁移上下文计算的可行性上，适用范围限定为同一模型家族内不同规模的模型之间。
为什么值得看
异构多模型部署中上下文重复计算成本高，该工作给出可复用的跨模型 KV 迁移路径与量化收益。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。