LEMS 与 KFAC-SVD 改进 SVD 低秩压缩，零样本精度最高提升 4…
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇被 ICML 2026 接收的论文提出两项改进，针对低秩 SVD 压缩大模型时的两个短板。LEMS 用逐层误差代理替代未校准的误差估计，把局部与全局层重要性以及传播偏差一起纳入，再通过整数线性规划完成全局秩分配；KFAC-SVD 改用 token 级统计量做分解，缓解此前基于 Fisher 的估计器出现的秩塌缩。作者在 Mistral、Qwen3、Llama 3 三个模型家族上验证：LEMS 的零样本精度比现有搜索策略最高高 4.8 个百分点，且该结论可推广到 70B 参数规模；KFAC-SVD 的平均困惑度改善 15%。代码与项目页已公开。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载两个被点名的短板
论文把现有低秩 SVD 压缩的不足归为两类。第一类是全局秩分配：用于估计误差的代理指标没有经过校准，无法反映误差在网络中逐层传播的复杂情况，导致各层分到的秩不合理。第二类是分解质量：基于 Fisher 信息的估计器会出现严重的秩塌缩，即本应保留的秩实际退化。这两点直接决定压缩后模型还能保留多少能力，也是该工作要解决的核心问题。
LEMS 如何分配秩
LEMS 的做法是构造一个逐层误差代理，把局部层重要性与全局层重要性合并考虑，并额外引入一项传播偏差，使误差估计不再只看单层。在此基础上，它把全局秩分配写成一个整数线性规划问题求解，而不是依赖未校准的启发式指标。作者称，在 Mistral、Qwen3、Llama 3 三个模型家族上，该策略稳定优于现有搜索策略，零样本精度最高提升 4.8 个百分点，并且这一收益可以推广到 70B 参数规模的模型。
KFAC-SVD 与可复现性
分解环节的改进是 KFAC-SVD：它改用 token 级统计量来构造分解，从而减轻此前 Fisher 类 SVD 方法中观察到的秩不足。按论文给出的结果，这一改动带来平均 15% 的困惑度改善。两项方法分别对应秩分配与分解质量，可以组合使用。论文标注被 ICML 2026 接收，并提供了项目页与代码链接，便于按同一套模型家族复现上述数字。
为什么值得看
压缩后精度掉多少、秩怎么分配，是低秩压缩能否真正用于大模型部署的关键；这里给出了可复现的搜索方法与跨模型家族的量化收益。
MistralLlamaQwen大模型论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。