Latent-Lens 让冻结 VLM 与冻结 SLM 在隐空间直接通信
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载用隐向量替代文字中转
这套方案针对的是模块化多智能体系统里一个常见的接缝：视觉语言模型与小语言模型各自独立，彼此之间只能靠离散文本传递信息。文本作为中间载体，在描述空间位置和细粒度细节时容易丢失内容，形成有损的瓶颈。对于容量有限的小模型来说，这个问题更突出，因为它们对输入信号的质量依赖更强，一旦上游传来的文字描述不够精确，后续推理就很难补回来。Latent-Lens 的做法是让两者通过隐空间中的表示直接沟通，而不是先把视觉信息转写成一段文字再交给语言模型。这样中间环节不再经过自然语言的离散化，空间关系与细节得以以更接近原始感知形态的方式传递。
小模型为何更依赖输入
材料把约束的严重程度与小模型的能力规模直接挂钩：容量越小，对输入信号质量的敏感度越高。这意味着在同样的文本中转流程下，小语言模型承受的损失比大模型更明显——大模型可以靠自身参数补足模糊描述，小模型缺少这种余量。Latent-Lens 的出发点正是把改善点放在通信环节而非模型本身，通过改变两个模块之间传递信息的形态来提升小模型可用的感知信息量。摘要提到近期隐空间通信方面已有相关工作，该方案是在这一方向上的延续，但材料未给出具体的模型规模、参数量或实验设置。
适用范围与尚未交代的部分
从摘要能确认的适用场景是模块化多智能体结构：视觉语言模型与小语言模型保持各自独立，不进行联合训练，只通过通信接口协作。方案的价值集中在需要空间定位和细节辨识的任务上，因为这类信息在文本化过程中最容易受损。材料没有说明该方法是否需要额外的对齐训练、隐向量的维度如何确定、在哪些数据集上验证，也没有给出与纯文本中转方案的量化对比结果。对关注小模型部署的读者而言，这条思路提示了一个可调的方向：当模型容量受限时，减少中间表示的离散化损耗，可能比单纯扩大模型更直接地影响最终表现。
为什么值得看
小模型受限于容量，更依赖输入信号质量；该工作给出用隐状态替代文本传递视觉信息的低成本方案，并附跨模型验证。
信源1 家
关键事实
Latent-Lens 由域编码器和形式化为 LoRA 的注意力解码器组成，仅训练约 160 万参数，占组合模型规模的 0.2%。[1]
在 CLEVR 与 GQA 上分别达到 81.0±7.9% 和 65.4±5.4%，相同 LoRA 预算的文本通信为 58.3±5.7% 和 61.8±1.0%。[1]
在 Flickr8k 图像描述任务上，相对同一文本通信基线提升 16.5，冻结基线提升 18.8。[1]
实验使用 TinyLlama-1.1B 与 InternVL2-1B，两者架构、词表和隐维度均不同。[1]
论文被 NeurIPS 2026 的 Machine Learning 与 Artificial Intelligence 方向接收。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。