Meta 详解 Prometheus 超集群:一期建成并用于训练 Muse 模型

行业AI 评分 78/100Meta Engineering Blog(RSS)待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT

Meta 在工程博客中介绍其吉瓦级超集群 Prometheus,选址俄亥俄州 New Albany,由多栋互联建筑组成,目前部署数十万块 GPU,目标是扩展到约 100 万块 GPU。一期工程已完成,并用于训练 Muse 系列基础模型,包括面向个人与专业智能体任务的 Muse Wonder。Meta 称,Muse Wonder 预训练运行的 goodput 超过 85%,强化学习运行超过 90%;训练期间整体平均无中断时长约为 4.7 万 GPU 小时,后续通过固件修复提升到 5.4 万 GPU 小时以上。该集群采用闭环液冷等技术。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

从普通机房到前沿训练场

Prometheus 位于 Meta 的俄亥俄州 New Albany 数据中心。两年前,这里还是一个承载网页流量的常规数据中心站点;随着硬件、网络和建筑设计方面的改进,Meta 将该站点改造为前沿模型训练项目的所在地。整个超集群分阶段建设,由多栋相互连接的建筑组成,既有传统数据中心建筑,也有面向 AI 优化的建筑和快速部署结构,这些建筑通过数英里长的光纤紧密互联。目前集群内已部署数十万块 GPU,Meta 的长期目标是将规模扩展到约 100 万块 GPU。

一期已投入 Muse 训练

Prometheus 一期工程已经完成,并承担了 Muse 系列基础模型的训练工作,其中包括 Muse Wonder。Meta 将 Muse Wonder 描述为在个人与专业智能体任务上达到当前领先水平的新前沿模型。这意味着该集群并非处于规划或建设中,而是已经进入实际的前沿模型训练流程,支撑了对外发布模型的产出。

goodput 与中断间隔数据

大规模训练任务对系统稳定性要求极高,单台主机出问题就可能拖慢甚至中断整个任务,从而拉低有效算力利用率(goodput)。Meta 表示,通过提升系统稳定性与可靠性,Muse Wonder 预训练运行的 goodput 超过 85%,强化学习运行超过 90%。在这些训练过程中,整体按实际耗时计算的平均无中断时长(MTBI)约为 4.7 万 GPU 小时;此后 Meta 在全集群范围落地了包括固件修复在内的改动,将该指标提升到 5.4 万 GPU 小时以上,并表示仍在持续改进。

散热与后续扩展方向

Prometheus 采用闭环液冷等技术来维持高效运行。Meta 表示,后续扩展将围绕来自 Meta Superintelligence Labs 的下一代前沿模型展开。材料未披露该集群的具体功耗数值、单栋建筑规模、GPU 型号,也未给出扩展至约 100 万块 GPU 的时间表。

为什么值得看

可以看到前沿模型训练背后的集群规模、可靠性指标与散热方案,理解吉瓦级训练设施如何影响模型迭代节奏。

Meta智能体强化学习数据中心GPU

信源1 家

  1. [1]Meta Engineering Blog(RSS)线索来自 AIHOTMeta 详解 Prometheus 吉瓦级超集群:一期已完成并用于训练 Muse 模型

关键事实

  • Prometheus 一期已完成,并用于训练 Muse 系列基础模型,包括 Muse Wonder。[1]

  • 该集群目前由数十万块 GPU 组成,目标是扩展到约 100 万块 GPU。[1]

  • Muse Wonder 预训练 goodput 超过 85%,强化学习运行 goodput 超过 90%。[1]

  • 训练期间整体平均无中断时长约 4.7 万 GPU 小时,经固件修复后提升至 5.4 万 GPU 小时以上。[1]

  • Prometheus 采用闭环液冷等技术,位于俄亥俄州 New Albany 数据中心。[1]

相关 · 行业

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。