arXiv 论文分析 Muon 优化器的径向脆弱性与极小极大几何
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载Muon 与原有曲率解释
Muon 的做法是把矩阵梯度替换为其近似极因子，这一更新在神经网络训练中已有较强的实证表现。此前的各向同性曲率模型（ICM）试图从曲率角度解释它：在什么条件下，对梯度做正交化能最小化一步局部损失的替代目标。该解释依赖一个固定输入半径的假设。论文的出发点正是检验这一解释在半径不再固定时是否仍然成立，也就是把固定半径推广为一般径向分布后，原有结论会如何变化。
RR-ICM 与可容许集
作者引入随机半径各向同性曲率模型（RR-ICM），并定义极因子可容许集，把精确的缩放极最优性表达为梯度正极因子上的一个几何条件。对任意径向分布，论文给出了该集合的精确刻画，结论是：所有非标量的可容许响应都只能来自与曲率拐点对齐的径向原子。由此推出一个刚性结果——对任何无原子的径向分布，精确缩放极最优只有在梯度本身已经是缩放列等距时才可能实现。这暴露出基于平均曲率的解释对径向设定的敏感性。
极小极大版本与几何对比
为把曲率框架与 Muon 已有的谱几何联系起来，作者构造了极小极大 RR-ICM：不再对方向做平均，而是在球面上的概率分布上做最坏情况优化。论文证明，该问题的每个非零全局极小点都落在梯度的极射线上，而它的尺度由一个一维凸问题决定。对应的可容许几何是半正定迹板，这与 RR-ICM 的球面带状几何形成鲜明对照。两组结果合起来，一方面说明平均曲率解释在径向扰动下的脆弱，另一方面给出了 Muon 极方向的一种新的极小极大变分刻画。
为什么值得看
想弄清 Muon 这类梯度正交化更新为何有效的读者，可看到其曲率解释在一般径向分布下失效的边界条件。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。