vLLM联合Inferact优化DeepSeek-V4.1-Flash，Age…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载低并发提速与吞吐变化
在 DeepSeek-V4.1-Flash 发布后的三周内，Inferact 与 vLLM 社区对该模型做了优化。按照 SemiAnalysis AgentX 的测试结果，低并发场景下速度提升到原来的 1.9 倍；在 150 TPS 的约束条件下，吞吐量提升到原来的 5.3 倍。这两组数字分别对应不同的负载形态：前者关注单请求的响应快慢，后者关注在给定每秒令牌数上限时系统能同时处理多少工作。对使用 Agent 类长任务服务的读者来说，吞吐数字更贴近实际部署时的容量表现，而低并发提速则影响交互式调用的等待时间。性能改善并非来自单一改动，而是模型侧架构与推理系统侧优化叠加的结果，下文分别说明其中的两类做法。
SWA 有界重放省显存
该模型同时维护两种 KV 缓存。全局 KV 经过压缩、跨层共享并以 FP4 存储，每令牌约 890 字节；滑动窗口 KV 不做压缩，以 FP8 保存每层最近 128 个位置，共 40 层。滑动窗口缓存带来两项开销：前缀缓存需要在每个可能的命中边界保存它，占用空间超过全局 KV 的十倍；预填充阶段要对每个提示令牌跑第 21 至 39 层，而解码阶段只读取这些层的最后 128 个位置。直接重算滑动窗口 KV 虽然省去存储，但代价高，因为每层 128 令牌的窗口依赖下一层更早的位置，跨 L 层重建相当于回放约 L×128 个令牌。DeepSeek V4.1 引入的 SWA 有界重放选择牺牲精确性换取效率，vLLM 侧则用 CUDA graphs 实现该机制，使首令牌延迟下降约 30%。
内核整合与融合改动
除缓存策略外，优化还集中在算子层面。vLLM 接入了 DeepSeek 新发布的多个内核，包括 MegaAttention、Mega-mHC、Mega-Gate 与 DeepSelect。对剩余内核，团队做了更激进的融合与并行化处理，其中涉及 mHC 侧流；同时把 all-reduce 与其前后算子合并进同一个内核，减少跨内核的调度与数据搬运。这些改动与模型自身的架构特点相配合：该模型采用因果编码器-解码器结构，解码时每令牌激活 16B 参数，预填充时只激活 8B 参数，并借助压缩稀疏注意力 CSA2、FP4 KV 缓存与层间 KV 共享压缩缓存体积。模型侧的内存效率与系统侧的内核融合共同作用，才在 AgentX 基准上得到前述的吞吐表现。
为什么值得看
长周期Agent场景吞吐获5倍级提升，且揭示模型架构与系统层协同优化的具体路径。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。