范式智能联合睿思智联开源生产级AI部署平台模域ModelSphere
工具AI 评分 82/100量子位待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
范式智能技术集团与北京睿思智联科技联合推出开源一站式生产级AI部署平台“模域”(ModelSphere),面向企业用户免费开源,已在GitHub上线。平台将算力管理、模型部署与运行优化整合,内置自动弹性扩缩容、PD分离部署、三级KV缓存、高可用负载均衡及断流自动续写等能力,并融合EngineX推理引擎,可统一混合调度华为昇腾、天数智芯、摩尔线程、海光DCU等国产算力。平台采用Apache 2.0协议开源,已适配DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM等模型。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载模域平台开源上线
范式智能与睿思智联联合推出的AI部署平台模域ModelSphere,于10月16日正式上线,面向企业用户免费开源。该平台已在GitHub开源,采用Apache 2.0协议,整合了算力管理、模型部署与运行优化三大功能。模域提供图形化面板和预置部署能力,旨在减少环境配置代码,降低企业部署AI模型的门槛。通过开源方式,企业可以自由获取并修改平台代码,适应自身业务需求。
核心调度与性能提升
模域内置自动弹性扩缩容、PD分离部署和三级KV缓存,具备高可用负载均衡及服务断流自动续写能力。平台还内置AutoTune智能排期策略与自适应负载均衡调度,系统极限吞吐效率较基准提升约285%,性能达到原来的4倍。这些特性共同提升了模型服务的稳定性和资源利用率,帮助企业在高并发场景下保持高效运行。
多芯片与模型适配
模域融合EngineX推理引擎,支持多种算力芯片深度调优,可统一混合调度华为昇腾、天数智芯、摩尔线程、海光DCU。用户无需为不同芯片重写底层逻辑代码,简化了异构算力环境下的部署流程。平台已适配DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM等模型,并与vLLM、SGLang等推理引擎互相配合。模域负责集群架构级纳管,包括请求路由和统一KV缓存池,而vLLM、SGLang等则专注于推理执行,形成分工协作的部署方案。
为什么值得看
开源且免费面向企业,统一纳管多种国产芯片与主流模型,直接降低大模型生产部署门槛。
DeepSeekMiniMaxQwen算力
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
