DeepSeek弹性计算团队扩招,披露DSec沙盒基础设施优化细节
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载一个分片撑起三百万沙盒
DeepSeek弹性计算团队正在为DSec大规模补充人手,招聘重点落在资深工程师身上。这套系统以扩展分片为基本单元,单个分片配置约160台服务器,聚合出3万CPU核心与250TB内存。在这样的硬件规模上,一个分片每天要承接约300万个沙盒的运行请求。压力最集中的时段,同时处于在线状态的沙盒超过38万个,系统每秒需要新创建5000多个沙盒。这些数字勾勒出调度与隔离机制必须承受的瞬时并发强度,也解释了团队为何把招聘重心放在有经验的工程师上——沙盒的创建、回收和资源分配都发生在极短的时间窗口内,任何环节的延迟都会被高频请求放大。
训练评测都跑在它上面
DSec承担的不只是对外服务,DeepSeek-V4的全部训练、评测和数据预处理流程都依托这套弹性计算底座完成。从V3.2到V4.1期间出现的Agent负载,同样运行在DSec之上。这意味着同一套沙盒基础设施既要支撑模型训练这类长周期、重资源的任务,也要应对Agent场景中大量短生命周期、频繁创建销毁的环境需求。两类负载对调度策略、镜像分发和存储读取的要求并不一致,却共享同一批服务器与同一套分片结构,系统的通用性因此成为关键指标。
镜像拆成三层分别管版本
在2026年的某一周生产数据中,Container后端动用了11266个基础镜像,同期还涉及102171个workspace以及数百个工具包。面对这样的数量级,环境被拆成base image、workspace、toolkit三层,各自独立管理版本。实际运行中,Agent真正访问到的数据只占整个镜像的4.2%到13.3%,绝大部分镜像内容在单次任务里并不会被读取。基于这一观察,镜像数据被放置在3FS上,本地节点只保留元数据,需要时再按需拉取。这种分层与按需读取的组合,直接针对的是镜像体积远大于实际使用量这一矛盾。
按需加载带来的提速幅度
按需加载的效果在集中测试中得到量化:一次性创建8192个Container时,完成时间从60多分钟缩短到约35分钟,速度提升约1.71倍,磁盘写入量减少约57%。工作区侧改用挂载EROFS层后,同类任务从79分钟降到45分钟,磁盘写入总量约为原来的1/5.5。另一项值得注意的数据是,约90%的沙盒平均CPU使用量不到其申请资源的5%。这组数字说明,沙盒在多数时间里处于低负载状态,资源申请量与实际消耗之间存在明显落差,而镜像读取和磁盘写入正是此前拖慢创建过程的主要环节。对使用这套系统的团队而言,环境准备时间的下降和写入压力的缓解,会直接反映在任务排队与迭代节奏上。
为什么值得看
DSec揭示了支撑百万级Agent训练的底层沙盒降本与高并发调度实战,对构建大规模Agent基础设施极具参考价值。
信源1 家
关键事实
相关 · 行业
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
