范式智能联合睿思智联开源生产级AI部署平台模域ModelSphere

工具AI 评分 82/100量子位待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

范式智能技术集团与北京睿思智联科技联合推出开源一站式生产级AI部署平台“模域”(ModelSphere),面向企业用户免费开源,已在GitHub上线。平台将算力管理、模型部署与运行优化整合,内置自动弹性扩缩容、PD分离部署、三级KV缓存、高可用负载均衡及断流自动续写等能力,并融合EngineX推理引擎,可统一混合调度华为昇腾、天数智芯、摩尔线程、海光DCU等国产算力。平台采用Apache 2.0协议开源,已适配DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM等模型。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

模域平台开源上线

范式智能与睿思智联联合推出的AI部署平台模域ModelSphere,于10月16日正式上线,面向企业用户免费开源。该平台已在GitHub开源,采用Apache 2.0协议,整合了算力管理、模型部署与运行优化三大功能。模域提供图形化面板和预置部署能力,旨在减少环境配置代码,降低企业部署AI模型的门槛。通过开源方式,企业可以自由获取并修改平台代码,适应自身业务需求。

核心调度与性能提升

模域内置自动弹性扩缩容、PD分离部署和三级KV缓存,具备高可用负载均衡及服务断流自动续写能力。平台还内置AutoTune智能排期策略与自适应负载均衡调度,系统极限吞吐效率较基准提升约285%,性能达到原来的4倍。这些特性共同提升了模型服务的稳定性和资源利用率,帮助企业在高并发场景下保持高效运行。

多芯片与模型适配

模域融合EngineX推理引擎,支持多种算力芯片深度调优,可统一混合调度华为昇腾、天数智芯、摩尔线程、海光DCU。用户无需为不同芯片重写底层逻辑代码,简化了异构算力环境下的部署流程。平台已适配DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM等模型,并与vLLM、SGLang等推理引擎互相配合。模域负责集群架构级纳管,包括请求路由和统一KV缓存池,而vLLM、SGLang等则专注于推理执行,形成分工协作的部署方案。

为什么值得看

开源且免费面向企业,统一纳管多种国产芯片与主流模型,直接降低大模型生产部署门槛。

DeepSeekMiniMaxQwen算力

信源1 家

  1. [1]量子位范式智能联合睿思智联推出开源一站式 生产级 AI 部署平台 “模域ModelSphere”

关键事实

  • 范式智能联合北京睿思智联科技推出生产级AI部署平台“模域”(ModelSphere),面向企业用户免费开源,已在GitHub上线。[1]

  • 平台内置自动弹性扩缩容、PD分离部署、三级KV缓存、高可用负载均衡及服务断流自动续写等企业级能力。[1]

  • 平台融合EngineX推理引擎,可统一和混合调度华为昇腾、天数智芯、摩尔线程、海光DCU等国产算力资源。[1]

  • 平台已适配优化DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM等主流模型。[1]

  • 平台采用Apache 2.0协议全面开源。[1]

相关 · 工具

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。