新框架 LSL 解决大模型灾难性遗忘，已验证 70 亿参数
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把遗忘看成几何问题
这篇论文把大模型在学习新任务后丢失旧能力的问题，放到每个权重矩阵的输入空间里重新描述。作者认为，梯度优化器给出的更新在这种几何视角下并不是最优解，由此得到一个天然的保留目标。基于这一观察，他们提出 Local Support Learning，简称 LSL，作为一套通用框架，用来在无法获取旧数据的前提下，让基于梯度的训练仍然保住此前的本领。它的定位是训练后的处理手段，而不是替换原有优化流程。
适配器加门控的分工
LSL 在新学习阶段同时使用两个角色不同的部件。一个是常规的权重适配器，照常以最小化损失为目标训练；另一个是门控函数，只在适配器自己训练分布产生的输入激活上放行，使更新局限在该分布范围内。难点在于，门控需要为所有学习阶段的数据分流，却只能接触当前阶段的数据。作者用基于高斯混合模型的门控来应对：其似然在远离训练数据时下降很快，因此面对先前阶段的数据会自然倾向关闭。
七亿到七十亿参数验证
论文报告，这种训练后方法能在参数量最高到 70 亿的大语言模型上缓解遗忘，并在多个训练阶段中同时保住预训练与微调获得的能力。作者还称它在内存和计算上较为高效，对超参数选择不敏感，并展现出扩展潜力。论文提交于 2026 年 10 月 1 日，编号 arXiv:2610.02126，属于 cs.LG 与 cs.AI 分类，作者为 Assaf Ben-Kish、Akarsh Kumar、James Glass 和 Raja Giryes，并提供网站与代码链接。
为什么值得看
无需旧数据即可在 70 亿参数 LLM 上解决多阶段遗忘，为持续学习提供高效新解法。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。