研究揭示大模型跨语言遗忘漏洞，提出COVER预算选择算法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载跨语言遗忘存在缺口
一篇提交到 arXiv 的论文指出，让模型在一种语言里忘掉某个事实，并不能保证它在别的语言里也被抹去。只要换一种提问语言，或者换一种要求回答的语言，看似已经遗忘的知识就可能重新浮现，作者把这种现象称为跨语言漏洞。最直接的处理办法是在所有语言上都做遗忘训练，但论文认为这种做法既难以扩展，也不值得追求，因为它会连带损伤模型与目标知识无关的其他能力。基于这一观察，作者提出了一个名为语言预算多语言遗忘的任务设定：在只允许挑选部分语言施加遗忘监督的前提下，选出能让跨语言擦除效果最好的那组语言。论文同时给出了用于研究该任务的基准，名为跨语言遗忘张量，覆盖一百七十四种语言与文字组合，并包含二十五种原子式改写类型，用来考察同一条知识在不同语言表达之间，遗忘是否会迁移。
基准覆盖的维度
跨语言遗忘张量这一基准的设计重点，在于把同一条知识拆成多种语言与文字书写方式，以及多种改写形态。论文给出的规模是一百七十四个语言与文字配对，以及二十五种原子式改写类型。这样的组合让研究者可以观察：当遗忘监督只落在其中一部分语言上时，其余没有被直接监督的语言是否也会失去对相应知识的访问能力。作者在摘要中提到，他们发现一个反直觉的结果——单独看很强的源语言，简单地把它们凑在一起，并不一定组成同样强的源语言集合。正是这一现象促使他们去设计一种更有针对性的挑选方法，而不是凭直觉挑几个表现好的语言。
COVER 的挑选思路
针对上述任务，论文提出了名为 COVER 的方法，其目标是在给定语言预算的条件下，挑选出若干源语言，使得那些完全没有接受遗忘监督的语言，其被覆盖的程度尽可能高。按照摘要的说明，COVER 在部署阶段只需要良性的校准数据，以及对冻结模型的访问权限，不需要改动模型本身。作者在三个模型家族和两个互不相交的遗忘集合上做了测试，结果显示，相对于均匀选择源语言的做法，COVER 把平均留出残余访问量降低了百分之七点八到百分之二十七点三。论文还提到，这些收益并不局限于合成基准，在使用 LORELEI 语料中人工翻译的数据、面向低资源语言的真实新闻文档场景下，同样观察到了改善。
对使用者的含义
从这篇论文的描述看，多语言遗忘的效果并不随语言数量线性增长，挑选哪几种语言作为监督来源，会直接影响未被监督语言的遗忘程度。COVER 的价值在于把这一选择变成一个可以在语言预算内求解的问题，并且只依赖校准数据和冻结模型，降低了落地时的改动成本。论文同时给出了一个限制：单独表现好的源语言未必能组合成好的集合，因此不能靠逐个评估再简单叠加。对于需要在多语言环境下控制模型知识残留的团队，这意味着评估范围要覆盖不同语言与改写形式，而不能只看单一语言的遗忘结果。论文的编号为 arXiv:2609.40286，提交时间为 2026 年 9 月 30 日。
为什么值得看
揭示多语言遗忘盲区并提供低成本解决算法，对需合规清除特定知识的多语种大模型部署极具实用价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。