论文对比大模型三种信息注入方式
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载三条注入路径的取舍
当模型需要回答预训练语料之外的问题时，新信息进入模型的方式并不唯一：可以当作文档放进上下文窗口，可以写进模型参数，也可以以潜在表示的形式注入。论文把这三条路径放在同一框架下考察，指出它们在效率、成本和效果上各有代价，没有哪一种在所有维度上都占优。研究团队据此设计了一组受控对比，把基于表示的适配（以 KV 缓存为载体）与基于参数的适配（以微调为手段）放到五个知识密集型基准上逐项衡量，试图回答文档究竟该“住”在哪里。
Cartridges 在多数预算下领先
在理想化的 oracle 设定中，Cartridges 这种 KV 注入方式几乎在每一个存储预算档位上都取得了最高准确率，对参数化方法的领先幅度达到 10 个点。同为 KV 路线的 Compaction 只在压缩率较低时才能追平 Cartridges；一旦压缩率超过 50 倍，它就落到参数化方法之后，差距同样是 10 个点。这说明压缩强度是决定 KV 类方案能否守住精度的一道分水岭，压缩越激进，表示所承载的信息损失越明显。
多文档检索拉开更大差距
更贴近实际使用的多文档检索场景里，差距被进一步放大。Cartridges 是唯一能追平上下文学习（ICL）效果的方法，对参数化方法领先 29 个点，对 Compaction 领先 15 个点。换言之，当需要从多份文档中检索并组织答案时，把文档编码为 KV 表示比把它固化进权重更接近“直接读原文”的表现。这一结果也提示，参数化适配在需要频繁更换知识源的场景中并不占优。
遗忘代价与适用边界
精度之外还有一项代价：Cartridges 与全量微调、大型 MLP 适配器一样，会出现灾难性遗忘，在对照基准上性能下降 6%，在编码任务上下降 13%。这意味着选择 KV 注入并非没有副作用，模型原有能力会被新注入的信息侵蚀。综合来看，若存储预算宽裕、知识更新频繁且需要贴近 ICL 的效果，Cartridges 是更合适的选择；若压缩率必须做得很高，则要接受精度让位于参数化方法的结果；而对模型原有能力敏感的场景，需要把遗忘幅度纳入权衡。
为什么值得看
揭示不同知识注入方式的优劣，为模型应用选型提供数据支持。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。