AI 圈大事记

Mostik用隐藏状态桥接大小模型

模型AI 评分 85/100量子位待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手

初创公司Mostik提出一种新方案,通过训练一个“桥”让大模型的隐藏状态直接传递给小模型,全程不生成文本。实验中,云端753B参数的GLM-5.2与手机端4B参数的Qwen-3.5协作,小模型准确率提升25%,补上与大模型约50%的性能差距,大模型侧推理成本降至原本约二十分之一。双方模型权重完全冻结,无需微调。

为什么值得看

突破文本交互瓶颈,大幅降低大模型推理成本,提升小模型性能上限。

Qwen大模型微调

信源1

  1. [1]量子位菲尔兹奖得主入局大模型!4B手机Qwen+云端GLM刷爆ARC-AGI 3

关键事实

  • 方案让4B模型补上与753B模型间约50%性能差距,自身准确率提高25%。[1]

  • 大模型侧推理成本被压到原本约二十分之一。[1]

  • 实验使用云端GLM-5.2(753B)和手机端Qwen-3.5(4B),双方权重冻结。[1]

  • 团队共15人,含12名博士,首席科学家为菲尔兹奖得主Stanislav Smirnov。[1]

相关 · 模型

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。