SoftServe：可擴展擬牛頓法優化深度學習
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載從變分目標取曲率估計
SoftServe 屬於擬牛頓方法的一個新分支，目標是在不依賴線搜尋、也不做臨時性曲率修正的前提下，把這類方法用到深度學習上。它從 Berglund 等人 2025 年提出的變分目標裏導出正定的曲率估計，即便遇到負曲率的情形也能保持這一性質。這一點針對的是擬牛頓方法長期存在的兩個障礙：深度學習問題的非凸性，以及參數量極其龐大。傳統擬牛頓方法在大規模無約束凸優化中效果突出，但一旦進入非凸、高維的神經網絡訓練場景，曲率資訊既難保證正定，又難以在可接受的開銷下維護。SoftServe 的做法是把曲率估計的來源換成一個變分目標，從而繞開對負曲率的額外處理，也不需要為步長單獨做線搜尋。
對角與 Kronecker 分解變體
為了把方法擴展到超大規模神經網絡，作者給出了對角形式和 Kronecker 分解形式兩種變體。這兩種變體在構造上就保證了正定性，因此不需要在訓練過程中反覆修補曲率矩陣。對角變體只保留對角資訊，開銷最小；Kronecker 分解變體則用因子化的方式近似完整曲率，在表達能力和存儲成本之間取折中。兩者共同點是都按構造維持正定，這使它們可以隨網絡規模放大，而不是像完整擬牛頓方法那樣受限於參數量。對讀者來說，這意味着在參數量很大的模型上，擬牛頓類更新不再必然因為矩陣規模而不可行，具體選哪一種變體取決於對內存和近似精度的取捨。
用 Newton-Schulz 迭代替…
在矩陣運算層面，SoftServe 採用穩定的耦合 Newton-Schulz 迭代來完成所需操作，用適合 GPU 的矩陣乘法取代代價高昂的矩陣分解。這一替換的意義在於把計算重心放到硬件更擅長的密集乘法上，減少對分解類操作的依賴。方法在病態程度嚴重的任務上表現突出，論文列舉的場景包括循環網絡、深度自編碼器、物理資訊神經網絡，以及一個參數量為 136M 的物理資訊擴散模型。在這些任務上，它往往能取得比 Adam、Muon、SOAP 等已有基線更低的損失。適用範圍上，材料強調的是嚴重病態的問題；限制方面，論文摘要未給出與其他基線在非病態任務上的對比，也未說明超出上述場景的表現。
對使用者的實際含義
從這份材料能確認的是：SoftServe 提供了一族擬牛頓方法，靠變分目標獲得正定曲率估計，靠對角與 Kronecker 分解兩種變體控制規模，靠耦合 Newton-Schulz 迭代完成矩陣運算，並在若干病態任務上相對 Adam、Muon、SOAP 取得更低損失。材料沒有給出訓練速度、顯存佔用、收斂所需步數等具體數字，也沒有說明代碼是否公開、在哪些框架上可用。因此對打算嘗試的人而言，可據此判斷它面向的是病態優化場景，而非通用替代方案；是否適合自身任務，仍需看它在非病態問題上的表現以及工程實現細節，而這些在現有材料中並未涉及。
為什麼值得看
提供可擴展至大網絡的擬牛頓法，在病態任務上優於Adam等基線，為深度學習優化提供新路徑。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。