Mostik用隐藏状态桥接大小模型
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载桥接隐藏状态的做法
Mostik 提出的方案并不让两个模型用文字对话。发送方读取问题后只做一次前向计算，把内部隐藏状态通过一个专门训练的小型桥模块传给接收方，接收方直接拿这些状态继续推理并写出答案。整个过程中两个模型的权重都保持冻结，唯一被训练的对象就是这座桥。公开演示里，发送方是参数规模 753B 的 GLM-5.2，接收方是可在手机端运行的 4B Qwen-3.5，大模型自始至终不输出任何文字，全部文本生成由小模型完成。团队强调，冻结双方是为了做严格检验：如果信息仍能有效传递，说明桥所利用的结构是模型训练过程中自然形成的，而非靠微调硬凑出来的对齐。
被丢弃的两兆字节
这套设计针对的是模型间通信的带宽问题。按材料给出的描述，大模型生成一个 token 时，内部会构建超过一百个隐藏向量，合计约一百万个数值、约两兆字节的状态信息，但最终只有约 17 比特以词表中的一个词离开模型，其余内部状态被丢弃。现有让多个模型协作的系统，包括编程子智能体、模型委员会和路由调度，都建立在这 17 比特的文本之上。材料引用可解释性研究说明被丢掉的部分并非冗余：有论文显示 Qwen-3 在写出某个词之前好几个 token，内部就已携带该词的表征，并据此选对了冠词；Anthropic 团队在 Claude 3.5 Haiku 上也观察到写诗前韵脚已定，并描述了模型持续维护未表达概念的结构。Mostik 要做的，就是把这些未说出口的深层计算直接交给另一个模型。
成本与效果的数字
关键的成本设计在于区分解码与预填充。逐 token 生成答案的解码环节最贵，一次性读完输入的预填充便宜得多。桥方案让大模型只做预填充、不做解码，把最贵的生成工作全部交给小模型。按团队披露的结果，4B 模型在桥的加持下补上了它与 753B 模型之间约 50% 的性能差距，自身准确率提高 25%；在两者差距更明显的难题子集上，提升达到 2 倍。大模型侧的推理成本被压到原本约二十分之一。换算成算力，要不用桥达到同样成绩需部署一个中等规模模型，而桥方案的成本约为该模型的五分之二。团队还与文本接力等标准组合方式做了对比，在所有测试的大模型算力水平上桥方案都更优，优势在交接点极早时最明显——此时大模型还没写出任何文字，文本接力无内容可传，隐藏状态里却已积累了处理问题的信息。
适用范围与待解问题
这套方案对模型来源没有特别要求。实验中两个模型分别出自不同团队、用不同数据训练，内部表征仍能通过一座桥完成有效传递，无需对任何一方做微调。接收端是 4B 量级、可放在手机上的模型，意味着小模型有机会借用云端大模型的内部计算。限制同样明显：具体技术细节尚未公开，团队以比赛尚未结束为由拒绝披露；性能提升的幅度是在特定测试与难题子集上测得的，材料未给出更广任务上的表现。首席科学家 Stanislav Smirnov 指出，在两个模型之间寻找数学上的共同基础非常困难，目前似乎还没有合适的数学语言来描述模型表征如何对应、如何迁移。对读者而言，这意味着模型协作可能不再只靠文本这一条窄通道，但可复现的细节和理论解释都还没有到位。
为什么值得看
突破文本交互瓶颈，大幅降低大模型推理成本，提升小模型性能上限。
信源1 家
关键事实
相关 · 模型
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。