Muon 与 AdamW 配对基准：等数据下验证损失 AUC 降 3.25–2…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载配对基准怎么搭的
这项研究把 Muon 与 AdamW 放在同一套受控条件下做配对比较，而不是各自调参后比最好成绩。实验在单张 A100 显卡上完成，对照的是单设备版本的 Muon 参考实现。模型规模覆盖两类：参数量为 17.7M 和 33.6M 的因果语言模型，以及参数量为 2.70M 的视觉 Transformer。调参预算被固定为 23 个候选配置，选定后每个配置用五个配对的随机种子跑完，记录完整的验证轨迹、优化器单步耗时，并保留一次冻结的测试评估。这种做法的用意是让数据量、时间和调参开销三个维度都显式受控，避免某一方因为多试了几组超参而占便宜。
等数据量下的表现
在数据量对齐的前提下，Muon 把验证损失的曲线下面积压低了 3.25 到 22.44 个百分点区间，并且在全部 20 组主要配对里都拿到了更低的测试损失。也就是说，只看「用同样多的数据能学到什么」，Muon 在这批小模型上是占优的一方。但把时间维度纳入后结论就分叉了：按时间归一化的损失面积衡量，视觉任务上 Muon 领先 19.68 到 22.31 个百分点，语言任务上反而是 AdamW 领先 3.38 到 6.96 个百分点。同一套优化器在不同模态上出现方向相反的结果，说明「Muon 更快」并不是一个可以跨任务直接套用的结论。
耗时与调参代价
时间上的差异有明确的来源。完整的 Muon 优化器调用包含附带的 AdamW 更新，占掉了训练总时长的 56.1 到 69.6 个百分点区间；作为对照，AdamW 基线自身只占 6.1 到 9.1 个百分点区间。单步开销的悬殊，解释了为什么在语言任务上按时间归一化后 AdamW 反而更好。另一项代价出现在调参环节：当可用的候选配置池受到限制时，Muon 的期望遗憾值更高，意味着它对调参预算的依赖更强，候选池被压缩时更容易选到不理想的配置。
结论的适用边界
作者自己划定了这批结果的有效范围：结论来自小规模模型加上参考实现的内核，所观察到的墙钟时间排序并不能推广到更大的模型，也不能代表经过工程优化的实现。换句话说，这里给出的是在特定规模、特定内核、特定预算下的一组配对观测，而不是一个通用的优化器排名。对读者而言，可用的信息是：在受控的小模型基准里，Muon 在等数据条件下稳定占优，在视觉任务的时间归一化指标上占优，但在语言任务的时间归一化指标上落后，且单步开销和调参敏感度都明显更高。是否采用，取决于自身任务更看重数据效率还是墙钟效率，以及能否承担更宽的调参搜索。
为什么值得看
给出 Muon 相对 AdamW 在数据、时间、调参预算下的配对实测数字，并指出语言任务上 AdamW 反超，适合关注…
信源1 家
关键事实
论文在单张 A100 上比较参考版单设备 Muon 与 AdamW，模型包括 17.7M、33.6M 参数因果语言模型和 2.70M 参数视觉 Transformer[1]
等数据条件下 Muon 将验证损失曲线下面积降低 3.25–22.44%，并在全部 20 个主要配对中降低测试损失[1]
时间归一化后 Muon 在视觉任务上改善 19.68–22.31%，语言任务上 AdamW 领先 3.38–6.96%[1]
含辅助 AdamW 更新的完整 Muon 优化器调用占训练时间 56.1–69.6%，AdamW 基线为 6.1–9.1%[1]
论文被 NeurIPS 2026 Workshop（Optimization for Machine Learning）接收，作者称结论限于小模型与参考内核[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。