arXiv 论文提出 KARU 强化学习框架，用于定向遗忘 LLM 知识关联
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文把「知识关联」定义为遗忘目标：知识关联指查询上下文与目标知识之间的条件预测分布，而非整段回答。基于这一目标，作者提出 KARU 统一强化学习框架，包含三项机制：token 级奖励构建用于更细粒度遗忘监督，分布级正则化用于精确抑制知识，邻近感知保留采样用于缓解附带退化。实验在多种 LLM 与代表性基准上进行，结果显示 KARU 在遗忘效果上稳定优于现有基线，同时保持可比的保留性能与通用能力。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载遗忘目标重新定义
现有 LLM 遗忘方法通常直接对整段回答做优化，没有明确指出究竟要删掉哪部分知识，因此遗忘范围粗糙且难以控制。这篇论文回到遗忘目标本身，提出以「知识关联」作为基本单位：它描述查询上下文与其目标知识之间的关联，并由对应的条件预测分布来具体表示。把遗忘对象从完整回答收缩到这一层关联，意味着监督信号可以更集中地作用于需要移除的知识，而不是笼统地压低整段输出。
KARU 的三项机制
围绕知识关联这一表述，作者构建了统一的强化学习框架 KARU，从同一目标推导出互补的三部分。token 级奖励构建提供更细粒度的遗忘监督，使奖励不必只落在整段回答层面；分布级正则化用于精确抑制目标知识，避免抑制范围外溢；邻近感知保留采样则针对附带退化问题，尽量让与遗忘目标相近但应当保留的知识不受牵连。三者分别对应监督粒度、抑制精度与副作用控制。
实验结论与适用边界
论文在多种 LLM 和代表性基准上开展实验，报告的结果是 KARU 在遗忘效果上稳定超过现有基线，同时保留性能与通用效用保持在可比水平。材料未披露具体模型名称、基准名称与数值幅度，也未说明该方法在何种规模模型或何种知识类型上会失效。对关注模型合规、隐私与版权内容移除的读者，可重点看其把遗忘目标操作化为条件预测分布这一思路，以及强化学习框架下三项机制如何配合。
为什么值得看
把遗忘目标从整段回答缩小到知识关联，并给出可复用的强化学习实现，对做模型合规与知识删除的团队有直接参考价值。
强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。