研究复用 LoRA 骨干 KV 缓存的质量与成本
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载共享前缀只算一次
这篇论文关注一种常见的小模型部署形态：一个共享主干模型搭配若干 LoRA 专家适配器，这些适配器面向同一段上下文作答。按常规做法，每个专家都要把这段共享上下文重新预填充一遍，重复计算量随专家数量线性增长。作者提出的做法是让主干只做一次预填充，把生成的 KV 缓存保留下来，供多个专家复用，从而省去重复的预填充开销。研究范围被刻意收窄：只考察已经训练完成的标准 LoRA 适配器，不涉及为兼容缓存而重新训练的适配器。实验在 Qwen3-1.7B 主干上进行，挂载两个适配器，一个负责 HotpotQA 上的抽取式问答，另一个负责 GSM8K 上的算术推理，通过调整专家从复用缓存接管的边界位置，测量成对的质量差异与服务成本。
质量差异的实测幅度
质量方面，完全复用前缀的预填充成本最低，但在留出集 GSM8K 上出现了小幅质量差异：在 160 token 预算下为 -4.6 EM，320 token 下为 -3.0，换第二个训练种子后缩小到 -0.8。三个数值都偏向原生路径，即不复用时效果更好；其中只有第一个数值的区间排除了零，且幅度并不稳定。作者还测试了部分重算方案，未观察到明确优势。论文同时报告了一种闭式岭回归 KV 转换器，其表现没有超过直接复用；关于专家依赖性的对比，其区间均包含零。作者明确表示，既未确立质量等价，也未给出通用的边界选择规则。这些结果意味着，复用带来的质量代价目前只能算“小且不稳定”，尚不足以支撑“无损”的结论。
收益落在首字延迟
服务成本方面，实测到的收益集中在热缓存下的首字延迟，也就是 time-to-first-token，并且这一收益随上下文长度增长，在 8K 上下文时约为 16 倍。内存方面则没有兑现预期：双分支峰值内存仅降低 12%，检查后发现前缀从未在分支之间被物理共享，该实现复用的是 KV 数值，但存储仍被复制，因此共享缓存本应带来的内存节省并未实现。对打算采用这一方案的读者，论文给出的边界相当清楚：可以期待的是预填充阶段的时间节省，尤其是在长上下文场景；不能期待的是显存占用下降。至于质量是否可接受，取决于具体任务与 token 预算，需要自行测量，论文没有提供可直接套用的判据。
为什么值得看
为降低多 LoRA 部署成本提供了量化分析，揭示了缓存复用与质量的具体权衡。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。