SST 微调法：保护 99% 权重子空间以缓解灾难性遗忘
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 Subspace Tuning（SST），把每次权重更新限制在底部奇异子空间内，从而不在主奇异方向上产生改动。该方法与优化器无关，可与 SFT、自蒸馏等微调流程组合，结合了紧致子空间保护、稠密梯度估计与刷新机制。作者称保护多达 99% 的权重子空间时，模型在保持目标任务表现的同时显著提升知识保留，且该效果随模型与数据规模增大而增强，在大模型区间几乎消除遗忘；相比基线配方，其 KL 漂移减少 2 至 4 倍。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载遗忘与权重方向有关
这篇论文把大语言模型微调中的灾难性遗忘，归因到权重被推动的距离以及方向这两个因素上。作者指出，已有研究已经建立起遗忘与微调如何移动权重之间的联系。按照论文的表述，强化学习、同策略蒸馏这类同策略方法，不会去更新权重矩阵的主奇异方向，因此遗忘程度较轻；而监督微调则把更新集中到这些主方向上，因而更容易出现灾难性遗忘。论文正是在这一区分的基础上提出新方法，目标是在持续学习的场景下缓解遗忘。
把更新压进底部子空间
作者提出的方法名为 Subspace Tuning，简称 SST。它的做法是把每一次权重更新限制在底部奇异子空间内，从而消除沿主方向发生的变化。论文强调该方法与优化器无关，并且能够与包括监督微调和自蒸馏在内的多种微调配方组合使用。SST 把三件事结合在一起：紧致的子空间保护、稠密的梯度估计，以及一个简单的刷新机制。作者称，正是这些机制让它的学习能力强于此前的正交微调方法。
保护范围与漂移表现
论文给出的结果显示，在保护权重子空间中相当大比例的部分时，模型的知识保留得到明显改善，同时目标任务上的表现依然较强。作者还提到，这种效果会随着模型规模和数据规模的增大而增强，在大模型情形下几乎可以消除遗忘。此外，SST 让模型更贴近其基础分布，相比基线配方产生的 KL 漂移更小。论文的结论是，SST 推动了学习与遗忘之间的帕累托前沿，可以作为微调预训练语言模型的一个实用默认选择。
为什么值得看
持续微调常以牺牲旧能力为代价，该工作给出可组合进现有流程的子空间约束方案，并报告了规模越大效果越好的趋势。
大模型微调蒸馏论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。