vLLM 上线 Reflection Beam 501B MoE 模型首日支持
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载模型结构与注意力设计
Beam 是 52 层 MoE 解码器，隐藏维度 5120，MoE 路由沿用 DeepSeek-V3 方式。差异集中在注意力层与残差流归一化。43 层采用滑动窗口注意力，只关注最近 512 个 token 并带 RoPE；其余 9 层（每第六层及最后一层）做全上下文注意力且不使用位置编码。针对无位置编码时注意力随键数量增长而变平的问题，SSMax 将每个查询按 (1 + p/2048)^0.1 缩放，p 为从 1 开始的位置，使上下文变长时 softmax 更尖锐。注意力采用 GQA，48 个查询头、8 个 KV 头，头维度 128，Q 与 K 在 RoPE 或 SSMax 前按头做 RMS 归一化。输出侧在 o_proj 前用 σ(gate + bias) 对每个头加权，gate 来自各自的全宽投影并带可学习逐头偏置，可逐 token 调低或关闭某个头。
KV 缓存与 MoE 细节
只有 9 个全注意力层为整段序列保留 KV，每 token 为 9 × 2 × 8 × 128 个值，BF16 下约 36 KiB，FP8 下约 18 KiB。在分片之前，完整 100 万 token 上下文约需 18 GiB FP8 KV。MoE 部分采用 DeepSeek-V3 风格：256 个路由专家，d_ff 为 2560，使用 NVFP4，路由方式与 DeepSeek-V3 相同，即用 sigmoid 分数加修正偏置从 8 个专家组中选最好的 4 组，再取前 8 个专家。
推理优化与试用方式
vLLM 对 Beam 的支持覆盖推理、工具调用与结构化输出，可选用张量并行、数据并行或专家并行。优化过程由编码智能体自主完成，相比首个实现，batch-1 解码快 2.71 倍，prefill 快 1.87 倍。借助 Beam 的 DFlash2 drafter，单个请求在 TP8 上达到 708 tokens/s，接受长度为 3.7。自适应验证会在每一步决定值得验证多少草稿 token，在高并发场景下再带来 10% 吞吐提升。试用入口为 Docker 镜像 vllm/vllm-openai:reflection-beam。
为什么值得看
想跑 501B MoE 的团队可当天用上，且附带智能体自动优化与投机解码的具体加速数据。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。