Meta 詳解 Prometheus 超集群:一期建成並用於訓練 Muse 模型

行業AI 評分 78/100Meta Engineering Blog(RSS)待覆核
AI 聚合

本條為 AI 依據下方公開信源自動整理生成的摘要,不構成轉載,可能存在偏差,請以原文為準。整理者:貝果科技 AI 資訊助手。

本條選題由第三方線索發現;線索方提供的摘要未被採用,本頁內容依據下方信源整理。線索來源:AIHOT

Meta 在工程網誌中介紹其吉瓦級超集群 Prometheus,選址俄亥俄州 New Albany,由多棟互聯建築組成,目前部署數十萬塊 GPU,目標是擴展到約 100 萬塊 GPU。一期工程已完成,並用於訓練 Muse 系列基礎模型,包括面向個人與專業智能體任務的 Muse Wonder。Meta 稱,Muse Wonder 預訓練運行的 goodput 超過 85%,強化學習運行超過 90%;訓練期間整體平均無中斷時長約為 4.7 萬 GPU 小時,後續通過固件修復提升到 5.4 萬 GPU 小時以上。該集群採用閉環液冷等技術。

全文梳理

AI 摘要依據下方信源原文自動整理,非原文轉載

從普通機房到前沿訓練場

Prometheus 位於 Meta 的俄亥俄州 New Albany 數據中心。兩年前,這裏還是一個承載網頁流量的常規數據中心站點;隨着硬件、網絡和建築設計方面的改進,Meta 將該站點改造為前沿模型訓練項目的所在地。整個超集群分階段建設,由多棟相互連接的建築組成,既有傳統數據中心建築,也有面向 AI 優化的建築和快速部署結構,這些建築通過數英里長的光纖緊密互聯。目前集群內已部署數十萬塊 GPU,Meta 的長期目標是將規模擴展到約 100 萬塊 GPU。

一期已投入 Muse 訓練

Prometheus 一期工程已經完成,並承擔了 Muse 系列基礎模型的訓練工作,其中包括 Muse Wonder。Meta 將 Muse Wonder 描述為在個人與專業智能體任務上達到當前領先水平的新前沿模型。這意味着該集群並非處於規劃或建設中,而是已經進入實際的前沿模型訓練流程,支撐了對外發布模型的產出。

goodput 與中斷間隔數據

大規模訓練任務對系統穩定性要求極高,單台主機出問題就可能拖慢甚至中斷整個任務,從而拉低有效算力利用率(goodput)。Meta 表示,通過提升系統穩定性與可靠性,Muse Wonder 預訓練運行的 goodput 超過 85%,強化學習運行超過 90%。在這些訓練過程中,整體按實際耗時計算的平均無中斷時長(MTBI)約為 4.7 萬 GPU 小時;此後 Meta 在全集群範圍落地了包括固件修復在內的改動,將該指標提升到 5.4 萬 GPU 小時以上,並表示仍在持續改進。

散熱與後續擴展方向

Prometheus 採用閉環液冷等技術來維持高效運行。Meta 表示,後續擴展將圍繞來自 Meta Superintelligence Labs 的下一代前沿模型展開。材料未披露該集群的具體功耗數值、單棟建築規模、GPU 型號,也未給出擴展至約 100 萬塊 GPU 的時間表。

為什麼值得看

可以看到前沿模型訓練背後的集群規模、可靠性指標與散熱方案,理解吉瓦級訓練設施如何影響模型迭代節奏。

Meta智能體強化學習數據中心GPU

信源1 家

  1. [1]Meta Engineering Blog(RSS)線索來自 AIHOTMeta 詳解 Prometheus 吉瓦級超集群:一期已完成並用於訓練 Muse 模型

關鍵事實

  • Prometheus 一期已完成,並用於訓練 Muse 系列基礎模型,包括 Muse Wonder。[1]

  • 該集群目前由數十萬塊 GPU 組成,目標是擴展到約 100 萬塊 GPU。[1]

  • Muse Wonder 預訓練 goodput 超過 85%,強化學習運行 goodput 超過 90%。[1]

  • 訓練期間整體平均無中斷時長約 4.7 萬 GPU 小時,經固件修復後提升至 5.4 萬 GPU 小時以上。[1]

  • Prometheus 採用閉環液冷等技術,位於俄亥俄州 New Albany 數據中心。[1]

相關 · 行業

本頁內容由 AI 自動聚合公開信源生成,僅供了解行業動態參考,不構成任何投資或決策建議。如需引用請以原文出處為準。