UTA 提出训练状态自适应学习率衰减方法，适配 Adam 类优化器
论文AI 评分 68/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文提出 UTA 学习率衰减方案，针对 UBA 依赖 SGD 动力学、难以用于 Adam 类优化器且关键参数不透明的问题。UTA 把学习率衰减视为闭环的形状与尺度问题，用连续时间形式化，使其随训练状态自适应并具备分段最优形状，从而在衰减路径形状与学习率尺度上接近最优。实验覆盖 LLaMA 60M 至 1B 语言模型，以及 ImageNet 上的 ResNet50 与 ViT-B 视觉模型，即插即用、额外开销可忽略；消融实验考察了峰值学习率、最终衰减比、参数 φ0、各组件有效性及微调场景的泛化。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从 UBA 到 UTA 的动机
材料指出，学习率衰减对训练高性能模型很关键，但多数设计仍由经验驱动。Universal Budget Aware（UBA）学习率衰减虽然提供了理论框架，却建立在 SGD 动力学之上，因此难以套用到现代 Adam 类优化器；同时，它那个关键的“优化难度参数”含义并不清晰。UTA 正是为补上这两处缺口而提出：既要在 Adam 类优化器下可用，也要让衰减过程不再依赖一个不透明的固定参数。
闭环形状与尺度
与 UBA 锚定迭代次数、走固定离线轨迹不同，UTA 把学习率衰减当作闭环的形状与尺度问题处理。它通过连续时间形式化，使衰减随训练状态自适应，并具备分段最优的形状。这种自适应性把外部迭代与内部训练状态联系起来，从而在推进形状和学习率尺度两方面都接近最优路径；材料称这一性质是包括 UBA 在内的其他学习率衰减方法无法达到的。
实验范围与开销
实证部分覆盖两类模型：语言模型从 LLaMA 60M 到 1B，视觉模型为 ImageNet 上的 ResNet50 与 ViT-B，材料称均取得一致提升，且即插即用、额外开销可忽略。消融实验进一步检验了多个维度上的稳健性，包括峰值学习率、最终衰减比、参数 φ0、各组件是否有效，以及在微调场景中的泛化表现，用以说明该方法的实际可实施性。
为什么值得看
学习率衰减是训练大模型的必备环节，该方法声称兼容 Adam 类优化器且几乎不增加开销，值得训练侧工程师关注。
Llama微调论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。