LatBridge 提出潜空间通信多智能体系统的模型替换方案

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

多智能体系统常用潜空间通信传递连续表示,以减少文本生成与重编码,但现有方法面向固定的模型组合,替换智能体模型后接口可能失效。作者通过预实验确认了这一接口失效问题,并提出 LatBridge:各智能体模型通过共享 Bridge 与独立接口、在统一潜通信协议下连接;替换模型后复用未变接口、选取匹配的低秩接口并经 Bridge 组合,仅训练缺失部分且冻结全部模型。Bridge 在基础模式下处理源表示,在加速模式下不经自回归生成直接构造目标输入。八个小型模型配置下,MATH 基础模式平均准确率 14.8%,ALFWorld 下一动作预测 27.3%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

被替换打破的接口

多智能体系统依靠智能体之间的通信来完成任务,潜空间通信把连续表示直接传给下游,省去把表示写成文本再重新编码的环节。问题在于,这类方法通常按一组固定的模型搭配来设计和训练接口,一旦某个智能体的模型被换掉,原来对齐好的接口就可能失配。作者先用预实验确认了这种失效确实发生,并据此提出核心需求:模型替换之后,接口应当能够被复用,而不是整套重做。这一需求决定了后续方案的设计方向,即把可复用的部分与需要新补的部分分开处理。

共享 Bridge 与接口复用

LatBridge 的架构由三部分组成:一个共享的 Bridge、每个智能体各自的接口,以及一套统一的潜通信协议。模型替换发生后,系统先保留没有变化的接口,再从已有接口中挑选与当前模型匹配的低秩接口,通过 Bridge 把它们组合起来;只有确实缺失的接口才需要训练,而且训练时所有模型参数保持冻结。这样做的直接好处是替换成本集中在少量新增接口上,而不必改动模型本身,也不必推翻已有的通信结构。Bridge 承担的是把源端表示转换为目标端可用输入的职责,从而在接口层面维持通信的连续性。

两种运行模式

Bridge 提供两种工作方式。基础模式直接对源表示进行处理,得到下游可用的输入;加速模式则跳过自回归生成步骤,直接构造目标输入,以减少逐 token 生成带来的开销。两种模式的取舍对应准确率与通信效率之间的平衡,论文的分析部分也围绕哪些因素支撑任务准确率、哪些因素影响通信效率展开。

实验设置与结果

实验覆盖八种小型模型配置,用来检验模型替换之后通信是否仍然有效。在基础模式下,MATH 任务的平均准确率为 14.8%,ALFWorld 下一动作预测的平均准确率为 27.3%。这些数字刻画的是替换场景下的表现水平,作者随后分析了影响任务准确率与通信效率的因素。论文于 2026 年 10 月 20 日提交至 arXiv cs.AI,编号 arXiv:2610.27813。

为什么值得看

多智能体系统换模型往往要重训通信接口,这篇给出复用接口、只补缺失部分的思路与量化结果。

智能体

信源1 家

  1. [1]arXiv cs.AI一手信源LatBridge: Efficient and Stable Model Replacement in Latent-Communication Multi-Agent Systems

关键事实

  • 现有潜空间通信方法针对固定模型组合设计,模型替换后接口可能失效[1]

  • LatBridge 通过共享 Bridge 与独立接口、在统一潜通信协议下连接各智能体模型[1]

  • 替换模型后复用未变接口、选取匹配的低秩接口经 Bridge 组合,仅训练缺失部分且冻结全部模型[1]

  • Bridge 基础模式处理源表示,加速模式不经自回归生成构造目标输入[1]

  • 八个小型模型配置下基础模式平均准确率为 MATH 14.8%、ALFWorld 下一动作预测 27.3%[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。