研究提出一阶模型界定微调遗忘概率的适用条件
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
语言模型微调新数据易遗忘旧知识。该研究探究微调初期的测量能否界定各受保护事实被遗忘的概率。在0.6B至14B参数模型的LoRA微调中，有限差分探针估计的一阶响应模型预测单事实边际变化相关性达0.974-0.998，但因遗忘需远超验证域的参数变化，基于此的遗忘预测失败。研究转而推导边际线性替代的Freedman与Azuma首达边界，含响应系数变化量R的项。简化Freedman边界（R=0）在112条件中14次失效，均满足R≥a（a为边际到边界距离）。完整Freedman边界仅认证R<a的事实，在所有条件及43个新条件的预注册确认研究中均成立。结论：一阶模型仅在响应系数变化量小于其到边界距离时可界定遗忘。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载一阶模型预测边际与遗忘预测失效
语言模型在微调新数据时常遗忘应保留的旧事实。该研究探讨微调初期的测量能否界定各受保护事实被遗忘的概率。在0.6B至14B参数模型的LoRA微调与随机梯度下降设定下，通过有限差分探针估计的一阶响应模型，预测单事实边际变化的相关性高达0.974至0.998。然而，基于该模型构建的遗忘预测却遭遇失败，原因在于遗忘现象的发生需要参数变化远超该模型被验证的有效区域。
首达边界推导与R项的关键作用
由于直接预测遗忘不可行，研究转而为边际的线性替代推导Freedman与Azuma首达边界，以界定边际首次跌破近零边界的概率。该边界包含一个衡量微调过程中响应系数变化量的项R。设定R=0的简化Freedman边界在112个测试条件中有14次违规，且每次违规的事实均满足R大于等于a（a为该事实边际到边界的距离）。在违规事实上，边际在测试运行中的展布中位数达响应模型预测的14.6倍，表明模型发生崩溃。
完整边界验证与界定遗忘结论
完整Freedman边界仅认证R小于a的事实，在所有条件中均成立。研究在两项预注册确认研究中用43个新条件测试此模式，完整边界全部成立，简化边界仅在3个满足R大于等于a的事实上失效。由此得出结论：微调的一阶模型仅在响应系数变化量小于其到边界距离（即R小于a）时，能够有效界定遗忘概率，明确了该方法的适用范围与失效边界。
为什么值得看
为微调防遗忘提供可计算的概率边界与适用条件，明确一阶模型在R<a时的理论保证及失效原因。
微调
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。