FOM-UL框架实现层选择性机器遗忘
论文AI 评分 65/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究人员提出FOM-UL框架，通过计算遗忘与保留数据集的显著性得分，筛选出Transformer中特定层进行参数更新。该方法在TOFU等基准测试中，相比GA、NPO等基线降低了残留记忆率，并保持了接近原始模型的可用性。在8位和4位量化后，该策略仍能有效抑制被遗忘内容的恢复。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载层级选择性遗忘机制
针对现有机器遗忘方法参数更新范围过大导致模型效用下降的问题，FOM-UL框架引入了层级的遗忘策略。该框架利用遗忘与保留数据集的显著性得分，识别出对遗忘集影响大且对保留集敏感度低的Transformer层。通过仅对这些关键层进行参数更新，FOM-UL能够在实现目标遗忘的同时，最大程度保持模型的整体性能，避免了对模型其余部分的不必要修改。
量化环境下的鲁棒性
传统遗忘方法在模型经过后训练量化（如低比特取整）时，往往因为参数更新被覆盖而导致遗忘效果失效。FOM-UL通过集中更新特定层，减少了分散的小幅参数修改，从而降低了被量化过程抹除的风险。实验显示，在8位和4位量化环境下，FOM-UL在抑制记忆残留和保持模型效用方面均优于GA、NPO、KLD、SURE等对比方法。
多项基准测试表现
在TOFU、KnowUnDo以及MUSE风格的评估中，FOM-UL展现了更优的遗忘与效用平衡。与强基线模型相比，该方法显著降低了残留记忆率，同时将保留集的效用维持在接近原始模型的水平。对抗性提示评估也进一步证实，FOM-UL能够更有效地防止已遗忘内容被重新诱导出来，为模型在实际部署中的安全性提供了实证支持。
为什么值得看
解决模型量化后遗忘失效难题，提升大模型部署安全。
量化基准测试数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。