研究：灾难性遗忘集中于低频词输出嵌入，调高Adam epsilon可缓解
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载遗忘集中在输出嵌入
这项研究把灾难性遗忘的落点定位到了输出嵌入层。作者在最多 1.4B 参数的规模上做了五组系统性的参数冻结实验，结果显示遗忘并非均匀分布，而是选择性地聚集在新语料中极少出现的那些 token 的输出嵌入上。与之相对，模型主体中同一段 sqrt(v-hat) 区间表现得并不活跃，新学到的内容则存放在别处。这种局部化现象由语料的词汇覆盖不足所决定，而不是由训练方式决定。由此带来的一个直接结果是：在固定基座模型的前提下，仅凭 token 计数就能对再训练前的风险做出排序。研究还给出了机制层面的解释——缺失的 token 会持续收到单侧的 softmax 梯度，而 Adam 的二阶矩归一化会把这种梯度放大成完整规模的更新。
抬高输出层 epsilon
针对上述机制，作者提出的干预手段是在训练期间单独提高输出投影部分的 Adam epsilon。这一改动覆盖了从 160M 到 12B 参数的八组设置、四个模型家族，在全部七个稳定配置中消除了 39.4% 到 67.9% 的遗忘，同时没有损害目标学习效果，也不需要针对每个模型单独调参。该防御与回放方法结合时表现为可叠加甚至更好，在 Qwen/Korean 上达到 79.8%；它还把已释放 head 的 LoRA 从遗忘激增 23 倍的状况中拉了回来。研究同时指出，事后编辑那些已经漂移的行只能挽回不到 5% 的遗忘，因此这一干预必须在训练过程中执行。作者认为，在语料让词表处于饥饿状态的情形下，这样一处单行的优化器调整或许可以作为对抗灾难性遗忘的主要防线。
为什么值得看
给出遗忘发生位置的可解释定位，并用一行优化器改动换取大幅遗忘下降，对做持续预训练与微调的团队可直接验证。
信源1 家
关键事实
参数冻结实验覆盖最多 1.4B 参数的五个设置，遗忘集中在少见 token 的输出嵌入，主体同一 sqrt(v-hat) 区间不活跃[1]
该定位由语料词表覆盖不足决定而非训练模式，可仅凭 token 计数在固定基座模型内做重训前风险排序[1]
缺失 token 收到持续单侧 softmax 梯度，被 Adam 二阶矩归一化放大为完整规模更新[1]
只在输出投影上调高 Adam epsilon，在 160M 至 12B、四个模型家族的八个设置中消除 39.4% 到 67.9% 的遗忘[1]
该干预与 replay 叠加效果不劣于相加，在 Qwen/韩语上达 79.8%，并使 released-head LoRA 免于 23 倍遗忘激增[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。