注册

arXiv 论文提出子空间优化新方法 SMRC 与 PMRC

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇投稿于 arXiv 的论文提出带残差校正的内存高效子空间优化框架。此前算法依赖随机梯度的主奇异子空间，但训练后期梯度噪声可能主导该子空间并阻碍收敛。作者在子空间中维护优化器状态，同时把正交残差梯度加入参数更新：先与动量 SGD 结合得到 SMRC，在固定正交基下达到 O(T^{-1/4}) 收敛率，与全空间动量 SGD 相同；再扩展到周期性重算基的多阶段版本，并用边界校正对齐各阶段虚拟迭代。该框架还被引入 Muon 得到 PMRC，对投影动量施加矩阵符号，收敛率同样为 O(T^{-1/4})。论文含 34 页、5 张图及附录。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

要解决的问题

大模型训练显存开销大，子空间优化被视为一种实用降本手段：把优化器状态压缩到低维子空间里，同时尽量不损失优化效果。但已有算法通常只取随机梯度的主奇异子空间，论文指出训练后期梯度噪声可能在该子空间中占主导，从而妨碍收敛。作者因此转向残差校正框架：优化器状态仍留在子空间内，参数更新时额外加入与子空间正交的残差梯度，以补回被投影丢掉的方向信息。

SMRC 的收敛保证

作者先把该方案接入动量 SGD，得到 SMRC。在正交基固定的情况下，它达到 O(T^{-1/4}) 的收敛率，与全空间动量 SGD 一致。分析上的难点在于动量与残差校正之间存在耦合，论文引入一个子空间虚拟迭代量来处理这一耦合。在此基础上，作者给出多阶段版本：周期性重新计算基，以跟踪不断变化的主导子空间，收敛率保持同阶。由于每次刷新基都会打断虚拟迭代量的一致性，论文设计了边界校正方法，让相邻阶段之间的虚拟迭代量重新对齐。

扩展到 Muon 的 PMRC

除动量 SGD 外，作者把同一框架移植到 Muon，提出 PMRC：对投影后的动量施加矩阵符号运算。为给出理论保证，论文使用一种考虑残差梯度的加权动量跟踪分析，证明 PMRC 的收敛率为 O(T^{-1/4})，与全空间 Muon 相同。作者还设计了带周期性基刷新的多阶段 PMRC，其收敛率保持同一量级。论文称大量实验结果验证了这些算法的有效性与效率。全文 34 页、5 张图，含附录，编号 arXiv:2610.19844。

为什么值得看

想降低大模型训练显存、又不想牺牲收敛速度的读者，可关注这套残差校正思路如何同时适配动量 SGD 与 Muon。

对齐论文

信源1 家

  1. [1]arXiv cs.AI一手信源Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon

关键事实

  • 论文提出残差校正框架，在子空间中维护优化器状态，并把正交残差梯度加入参数更新[1]

  • SMRC 在固定正交基下取得 O(T^{-1/4}) 收敛率，与全空间动量 SGD 相当[1]

  • 多阶段 SMRC 周期性重算基以跟踪主导子空间，并用边界校正对齐跨阶段的虚拟迭代[1]

  • PMRC 把该框架用于 Muon，对投影动量施加矩阵符号，收敛率同样为 O(T^{-1/4})[1]

  • 论文共 34 页、5 张图，含附录，编号 arXiv:2610.19844[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论