研究者提出 CiMEO 框架，用功能子网络定位缓解大模型灾难性遗忘
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题与方法思路
大语言模型的持续学习仍受灾难性遗忘困扰：学新任务时旧能力容易退化。论文借鉴生物智能通过局部可塑性适应新信息又保留旧技能的特点，尝试在模型内部找出功能专门化的子网络，以实现有针对性且节省资源的适配。作者采用梯度归因刻画来定位与认知相关的功能子网络，并观察到这些子网络之间的相互重叠程度极低，这为「按功能分区更新」提供了依据。在此基础上提出的 CiMEO 框架，把每条训练样本路由到它对应的功能子网络，参数更新和优化器状态都被限制在选中的区域内，而不是全量改动模型。
实验设置与结果
验证规模为 140 万条顺序指令，评测覆盖五个生成式基准，任务类型包括编程、考试类任务与数学推理。在这一设定下，CiMEO 在对比方法中取得最高的平均表现，同时减轻了灾难性遗忘。论文还通过子空间重叠与主角度分析考察更新带来的表示变化，结果显示局部化更新有助于保留预训练阶段学到的表示。作者由此认为，功能子网络定位是让大语言模型实现高效且稳定持续学习的一条可行路径。
对实践者的含义
这项工作的落点在于「更新哪里」而非「更新多少」：先定位功能子网络，再让样本路由到对应区域，从而把优化器状态也一并收窄。对需要长期增量迭代的团队而言，这种思路的价值在于同时关注两件事——新任务上的表现，以及旧能力的保持。论文给出的证据集中在五个生成式基准与 140 万条顺序指令的设定内，是否适用于其他模型规模、任务分布与训练预算，材料中未作说明。
为什么值得看
把持续学习的更新范围收窄到功能子网络，兼顾性能与抗遗忘，对做微调与增量训练的团队有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。