论文提出 LS-LoRA：按层选择适配位置以兼顾任务与通用能力
论文AI 评分 68/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文研究微调该放在哪些 Transformer 层。作者发现不同层带来的目标任务收益与通用能力退化程度不同，并用逐层经验 Fisher 信息衡量任务敏感度；由于计算 Fisher 需要反向传播、对大模型开销大，论文改用输入输出余弦相似度作为仅前向的轻量代理指标。基于相似度低的层 Fisher 分数更高的观察，作者提出 Layer-Selective LoRA，只在输入输出相似度低的层放置可训练 LoRA 适配器。在数学推理与代码生成任务上，该方法目标任务表现优于全层 LoRA，同时保留更多常识推理能力。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题：微调该放在哪一层
论文关注参数高效微调（PEFT）中的一个取舍：让大语言模型适配专门任务时，预训练阶段获得的通用能力往往会被削弱。已有做法多从数据回放或正则化入手，依赖额外数据或显式的优化约束。作者换了一个提问角度——适配应当施加在什么位置。他们发现，对不同的 Transformer 层做微调，带来的目标任务增益与能力退化程度并不一致，说明各层对适配的适合程度存在差异。
用前向指标替代 Fisher 打分
为了刻画这种层间差异，作者先用逐层经验 Fisher 信息衡量层对目标任务的敏感度。但计算 Fisher 分数需要反向传播，模型规模变大后开销随之上升。为此论文引入输入输出余弦相似度，作为仅需前向计算的轻量代理指标，用来对层的敏感度排序。作者报告，在不同模型与任务上，输入输出相似度较低的层，其经验 Fisher 分数一致地更高，这为用相似度挑层提供了依据。
LS-LoRA 的做法与实验结果
基于上述观察，作者提出 Layer-Selective LoRA（LS-LoRA）：只把可训练的 LoRA 适配器放在输入输出相似度低的层，而不是像标准做法那样在所有层都加适配器。在数学推理与代码生成两类任务上的实验显示，LS-LoRA 的平均目标任务表现有所提升，同时保留的常识推理能力明显多于全层 LoRA。论文的结论是，认真选择适配位置，可以成为平衡目标任务适配与通用能力保留的一种简单而有效的途径。
为什么值得看
给出一种不依赖额外数据或正则约束的微调思路：用前向指标挑层，兼顾任务效果与通用能力。
大模型微调代码生成论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。