LatComm 提出可复用上下文压缩，实现大模型间隐空间通信
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文提出 LatComm，一种让多个大模型共享同一段上下文时不必反复重读全文的接口。做法是把编码与读取拆开：冻结的编码模型先在不看问题的情况下把上下文压成固定大小的数据包，另一个冻结的接收模型再用交叉注意力读取，读取哪些内容由它自己的提示词算出的门控决定。在 12 个多项选择问答数据集上，平均准确率比单向量基线最高提升 10.2 分；在 QuALITY 上，接收端输入减少 57 倍，回答一篇文章的问题快 3 倍。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
多个大模型组合使用时，常常是同一段上下文要服务许多个问题。若上下文以文本形式在模型之间传递，接收方每回答一个问题都要把全部 token 重新处理一遍，开销随问题数量线性累积。论文认为，要绕开这笔成本，上下文表示需要同时满足三点：足够紧凑、能跨问题复用、并且能被另一个模型读懂。现有的压缩方法与隐空间通信方法各自只覆盖其中一部分，LatComm 的目标是把三者合并到同一个接口里。
编码与读取分离
LatComm 的关键设计是把编码和读取拆成两个阶段。编码阶段由一个冻结的上下文编码模型完成，此时不引入具体问题，上下文被压成一个固定大小的数据包；读取阶段交给另一个同样冻结的接收模型，它通过交叉注意力访问这个数据包，而读取哪些内容由根据自身提示词算出的门控决定。这样同一份数据包可以服务多个不同问题，接收方不必为每个问题重新处理原始上下文，也不需要针对新问题重新编码。
量化结果与适用范围
实验覆盖 12 个多项选择问答数据集，LatComm 的平均准确率相对单向量基线最高提升 10.2 分。在 QuALITY 数据集上，接收端的输入规模缩减到原来的 1/57，回答同一篇文章所涉问题的速度提升到 3 倍。论文篇幅为 17 页，含 9 张图与 11 张表，当前处于审稿状态，归类于计算与语言及人工智能方向。上述收益集中在多项选择问答这一评测形态，材料未提及其他任务类型上的表现。
为什么值得看
多模型协作场景下，上下文重复编码是实打实的算力开销；该方案给出可复用、跨模型可读的压缩路径，并附量化收益。
大模型论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。