研究称模型合并无需统一 LoRA 秩，各专家可按域自选
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载实验怎么做的
论文针对的是一项通行做法：分别微调出的专家在合并前都被训练成相同的 LoRA 秩，这等于把一个专家的秩选择绑到所有专家身上，而每个领域其实各有更合适的秩。作者把这种绑定归因于合并方法本身，而非合并这件事的内在要求。为验证，他们在数学、指令跟随、多语言三个领域训练了 36 个专家，覆盖四个秩与三种模型规模，随后用六种合并方法分别在做统一秩与各领域自选最优秩的条件下比较。比较的维度包括平均准确率、基于效用的选择以及多域整体表现。
不同秩的收益与代价
结果显示，允许专家使用不同秩对平均与效用类选择方法没有带来损失，反而最多换来 1.8 个百分点的多域准确率提升。冲突消解类方法的表现则不稳定，在同样的设置下最多会掉 4 个百分点。这一分化说明「必须统一秩」并非合并的普遍约束，而更接近某些合并算子的实现特性；是否能为每个专家单独设秩，取决于该算子挑选成分的方式。
按幅值挑选的偏差
作者给出一个较直接的解释：合并过程只保留池化谱成分中的固定份额，而按数值大小挑选成分的方法会丢弃不少本可降低损失的成分。更关键的是，这类方法倾向于反复丢弃同一个专家——指令适配器的奇异值最小，于是几乎被整体排除，IFEval 随之下降 16 至 25 个百分点。换言之，统一秩下的精度损失并非均匀分布，而是集中落在谱幅值偏小的那个专家上。
换成按损失影响挑选
当挑选依据从幅值改为成分对损失的影响时，三个专家都能被保留下来，准确率在 8 倍秩范围内几乎持平，波动为 0.7 个百分点；作为对照，TIES 在 4B 规模上的对应波动为 6.7 个百分点。作者由此得出的结论是：只要合并算子不按幅值选择成分，秩就可以按专家逐个确定。这一结论对做多专家合并的实践者意味着，秩的配置可以跟随各领域需求，而不必为了对齐而统一。
为什么值得看
若结论成立，多专家合并可按领域单独设秩，不必为对齐秩牺牲精度，也提示按幅值选成分的合并方法存在系统性偏差。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。