TopKLoRA：可解释稀疏微调实现后门电路定位与切除
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
arXiv 论文提出 TopKLoRA 的完整方法，这是一种按设计即可解释的 LoRA 变体：在每个 token 上只激活最大的 k 个适配器隐变量，并且仅用下游损失训练，让优化压力促使模型学到功能上具有因果性的隐变量。研究者在 gemma-2-2b、Qwen2.5-1.5B、Qwen2.5-7B 上用投毒指令数据集微调，构造出带有后门的模型样本，并定位、消融了实现后门所必需且充分的电路。该方法得到的稀疏电路比稠密 LoRA 基线小至多一个数量级，因此可以精准切除恶意能力，同时不牺牲指令跟随表现。作者还提出用 TopKLoRA 隐变量配合梯度路由构造电路局部化的模型样本，以验证电路搜索算法，并公开了代码。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法设计
TopKLoRA 是一种按设计即可解释的 LoRA 变体，核心约束是每个 token 只保留最大的 k 个适配器隐变量处于激活状态，其余隐变量不参与计算。与稀疏自编码器不同，它不依赖重构目标，而是完全用下游任务的损失来训练，因此优化过程会推动模型去学习那些对输出真正有因果作用的隐变量。作者称这是在 Masiak 等人 2025 年初步方案基础上的完整方法版本。
后门案例验证
研究以 sleeper-agent 后门为场景：用含投毒样本的指令跟随数据集分别微调 gemma-2-2b、Qwen2.5-1.5B 与 Qwen2.5-7B，得到三个带后门的模型样本。对每个样本，作者找出并消融了一组电路，这组电路对后门行为既是必要的也是充分的。相比稠密 LoRA 基线，TopKLoRA 产生的稀疏电路规模最多小一个数量级，因此可以只切除恶意能力所在的部分，而不影响模型正常的指令跟随表现。
验证与开放
为检验电路搜索算法的结论，作者提出一种构造方法：利用 TopKLoRA 的隐变量与梯度路由，构建电路位置已知的模型样本，再用搜索算法去定位，看能否复现预设结果。作者把这类工作定位为迈向可解释架构的一步，目标是在不牺牲模型性能的前提下提供可信的分析单元。论文长 29 页、含 10 张图，代码已对外公开。
为什么值得看
把稀疏微调和电路级可解释性结合，给出可切除后门、且不损伤正常能力的可操作路径。
Qwen微调论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。