英国 AISI 实测 ESM-2：预训练数据过滤可削弱目标能力，约 80 美元…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载为什么盯上预训练过滤
专用生物模型多为开放权重，规模小于前沿大模型，训练数据以生物数据为主，因此训练、分享和修改的门槛都更低。权重和推理代码一旦公开，保障措施就很难保证有效：后训练阶段的防护常能被低成本微调抹除，安全分类器也往往可以被移除，所需投入因情况而异且并不总是清楚。在现有手段中，对预训练数据做严格过滤被认为较有前景，因为撤销它通常需要明显更多的微调算力。开发者有时也以此作为开放模型权重的理由。此前针对大模型的研究显示，过滤可以定向削弱某个领域的能力，而其他领域大体不受影响，这提示它原则上可用于从蛋白质模型这类专用科学模型中去除两用能力相关信息。
ESM-2 上的实测结果
AISI 的 Chem-Bio 团队以开源 ESM-2 家族蛋白质模型为对象，考察预训练数据过滤在专用科学模型上是否奏效。结论有两面：过滤确实能压制被瞄准的能力，且相邻能力没有受到显著影响，说明定向削弱在蛋白质语言模型上可行；但过滤本身不足以充当稳健保障，因为丢失的能力能以相对低廉的算力重新获得，即便是实验中最大的模型，恢复成本也不到 80 美元。这一成本数字是判断过滤能否作为开放权重前提的关键。
专用模型的结构性难点
大模型训练数据多样，目标领域相对容易切分；专用科学模型的训练数据同质性高得多，目标领域更难隔离。过滤后保留下来的数据可能与被删除的数据高度相似，模型仍可能从中习得被瞄准的能力，这会影响过滤在这类场景中的实际效果。团队由此提示，把预训练过滤当作开放权重的充分理由并不成立，需要与其他防篡改手段配合评估。
为什么值得看
开放权重生物模型的安全防护是否可靠，直接关系到开源发布的边界；这项实测给出了成本量化的反面证据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。