研究揭示对抗微调防御机制并提出新调度策略
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载防御来自早期补偿适应
这项研究关注的是大语言模型在恶意微调下出现有害人格漂移的问题，以及训练阶段注入防御手段的运作机理。Preventative Steering 的做法是在微调过程中注入代表不良特质的 persona 向量，到评估阶段再把这些向量移除。论文对这套机制在时间维度上的优化动态做了拆解，发现防护效果并非从头到尾均匀存在，而是先经历一个早期的补偿适应阶段，随后进入稳态阶段，此时纠正信号逐步衰减。换句话说，防护真正起作用的窗口集中在训练前段，之后信号强度自然走低。作者进一步把观察落到参数空间，指出注意力输出投影是防御性更新写入残差的主要通道，这为理解防御信号究竟落在哪些权重上提供了具体位置。
保留权重偏移并不管用
为验证防护究竟依赖什么，作者设计了两组实验：Intervention Delta Preservation（IDP）与 IDP Continuation。前者考察把训练中产生的权重偏移保留下来会怎样，后者考察把这一偏移重新注入会怎样。结果显示，无论保留还是重新注入权重偏移，都无法把防护效果维持住。这一结果说明，Preventative Steering 的持续保护并不来自某个静态留在模型里的参数改动，而是依赖模型在训练过程中持续进行的主动适应。换言之，把防御当成一次性写入、之后长期生效的静态屏障，与实测表现并不吻合；防护更像是一个需要随时间推进而不断维持的过程，一旦这个过程停止，保护也随之减弱。
渐进强度调度的做法
基于上述发现，作者提出 Progressive Intensity Scheduling（PIS）。其做法是让注入强度从较为温和的水平起步，等到静态强度对齐开始衰减之后再逐步提高强度，而不是全程使用固定强度。这样安排的逻辑与前面观察到的两阶段动态相对应：早期补偿适应阶段不需要过强的注入，稳态阶段纠正信号衰减时才需要加码。在评估所用的 Qwen2.5 与 Gemma-3 模型上，PIS 相比固定强度的 steering 提升了安全鲁棒性，同时减少了有害特质的表达。对关注微调阶段防御的读者来说，这项工作的意义在于把防御从一次性配置转为随时间调整的调度问题，并给出了可操作的强度安排思路；其适用范围限于论文所评估的模型与设定，结论是否外推到其他模型或训练配置，材料中并未涉及。
为什么值得看
揭示防御机制本质并提出新策略，提升模型对抗恶意微调的安全性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。