百度开源文心5.5 Flash Base，2800亿参数MoE基座模型
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载稀疏激活的规模账
文心5.5 Flash Base 采用 MoE 架构，总参数量为 2800 亿，但每个 Token 只激活 140 亿参数。这个比例意味着模型在保留大容量参数池的同时，把单次前向计算压到相对小的规模，推理成本更接近小尺寸模型。预训练阶段消耗 33.5 万亿个 Token，上下文长度最高 128K；进入微调与推理环节后，支持的最长上下文扩展到 100 万 Token。训练侧的长上下文能力与使用侧的超长上下文支持并不在同一量级，前者服务于预训练语料的组织方式，后者面向实际调用场景。在知识、推理、数学、代码、多语言、长上下文等基准上，该模型取得同尺寸范围内的 SOTA，表现超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base。对开发者而言，这些数字共同指向一个定位：以较小的激活开销承载较大的参数规模，并在长上下文任务上留出足够空间。
注意力与门控的减法
模型提出 Latent-Gated Sparse Attention，把混合稀疏、低秩门控与虚拟头注意力组合在一起。其中低秩门控注意力让门控投影的权重参数减少 75%，这是结构层面的直接压缩，减少的是门控通路的参数量，而非主干容量。另一处改动是 Multi-Router Latent MoE：由多个独立路由器共同选择专家，同时保持激活专家数量、计算量和通信量不变。也就是说，路由方式变复杂了，但每次实际调用的专家规模没有膨胀，计算与通信开销维持原状。这两项设计的方向一致——在不抬高单 Token 激活成本的前提下调整内部结构。与单纯堆叠专家或加宽注意力的做法相比，这里更强调用门控和路由的精细化来换取效果，而不是靠增加激活参数。
复用主干的训练目标
训练侧引入 ECHO 训练目标，直接复用主干的最后一层，不再需要额外的 MTP 模块。由于省去了独立模块，仅用单步 ECHO 预训练即可完成，而被复用的那一层还能在后续充当投机解码的草稿模型。这使训练阶段的改动与推理阶段的加速共用同一份结构，不必为草稿模型单独维护一套参数。工程实现上，分布式 Muon 优化器做了优化，并推出面向大 head dim 的 FlashMask-4 算子，前者对应训练过程的优化器效率，后者对应注意力计算中大 head 维度的处理。对使用方来说，这些属于训练与推理链路的底层调整，直接影响的是训练可行性与解码速度，而非接口层面的变化。
开放基座的适用边界
文心5.5 Flash Base 以 Base 模型形态开放，为开发者和企业提供微调与定制的空间。它的适用范围由几项参数共同划定：2800 亿总参数、140 亿激活参数、128K 预训练上下文，以及微调与推理阶段最长 100 万 Token 的上下文支持。需要区分的是，Base 模型本身不是面向终端场景的成品，使用者需要在此基础上做自己的微调工作；同尺寸 SOTA 与超过若干对比模型的结论，也限定在所列基准与同尺寸范围内。对读者而言，这意味着多了一个可自行改造的基座选项，其价值取决于具体任务是否落在长上下文、多语言或代码等已被覆盖的方向上，以及微调成本能否被 140 亿激活参数这一规模所接受。
为什么值得看
百度开源2800亿参数MoE基座，长上下文支持100万Token，多项基准超同尺寸竞品，开发者可微调定制。
信源1 家
关键事实
相关 · 模型
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。