注册

ETAPS 提出渐进剪枝法，在 90% 稀疏度下困惑度最多降低 42%

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 ETAPS 剪枝方法，针对大语言模型在高稀疏度下质量下降的问题。该方法分阶段收紧全局稀疏约束，同时用固定的小预算训练稀疏增量，使每一步剪枝幅度足够小，稀疏适配可以补偿，从而由适配后的模型提供端到端梯度来指导下一步剪枝，无需与模型同等规模的优化器状态。在 125M 至 13B 参数的六个模型上，ETAPS 在 50% 到 90% 的每个评估稀疏度下困惑度均低于 ELSA，最多降低 42%。在 90% 稀疏度下剪枝 LLaMA2-7B，ETAPS 只用一块 H200，ELSA 用四块，持久状态小 5.0 倍，GPU 小时少 49%。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

高稀疏度下的两难

论文指出，权重剪枝能降低大语言模型的存储与推理开销，但在高稀疏度下保持质量仍然困难。一次性剪枝成本低，可稀疏度上升后质量急剧下滑，即使随后做恢复训练也难以挽回。另一类做法是在端到端目标下直接从稠密模型优化掩码，其中 Lee 等人 2026 年的工作代表了极端稀疏度下的当前最好水平，质量很高，代价是需要与模型同等规模的优化器状态和辅助变量。ETAPS 要解决的正是这一质量与成本之间的缺口。

渐进剪枝加稀疏适配

ETAPS 的思路是分阶段逐步收紧全局稀疏约束，同时用一个小的固定预算训练稀疏增量。其关键观察在于：逐步移除权重能让每次剪枝的幅度足够小，稀疏适配因此可以补偿这部分损失；适配后的模型又能给出端到端梯度，用来指导下一次剪枝决策，整个过程不需要与模型同等规模的优化器状态。这样就把掩码优化从高成本的一次性求解，变成了一系列小步调整。

评测结果与资源开销

实验覆盖 125M 到 13B 参数的六个模型。在 50% 至 90% 的每一个评估稀疏度上，ETAPS 的困惑度都低于 ELSA，最大降幅为 42%。成本方面的对比同样明显：在 90% 稀疏度下剪枝 LLaMA2-7B，ETAPS 只需一块 H200，而 ELSA 需要四块；ETAPS 的持久状态总量小 5.0 倍，GPU 小时少 49%。作者据此认为，在极端稀疏这类苛刻条件下以更低成本取得高质量，是一条值得继续推进的方向。

为什么值得看

极端稀疏下剪枝的质量与成本长期难以兼顾，该方法在多个模型规模上同时压低困惑度和算力开销，值得关注稀疏化部署的人细看。

LlamaGPU论文

信源1 家

  1. [1]arXiv cs.AI一手信源Prune Gradually, Adapt Sparsely: Efficient Pruning of Large Language Models at Extreme Sparsity

关键事实

  • ETAPS 分阶段收紧全局稀疏约束，并用固定小预算训练稀疏增量[1]

  • 在 125M 到 13B 参数的六个模型上，50% 至 90% 稀疏度区间内困惑度均低于 ELSA，最多降低 42%[1]

  • 90% 稀疏度下剪枝 LLaMA2-7B，ETAPS 使用单块 H200，ELSA 需四块[1]

  • 相比 ELSA，ETAPS 的持久状态小 5.0 倍，GPU 小时少 49%[1]

相关 · 论文

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

11月1日 周日·AI 78

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测

10月31日 周六·AI 72

LSA 稀疏注意力方法：百万级上下文下提速最高 72.4 倍

10月31日 周六·AI 78

ID-WM 分层世界模型提出，长程任务性能提升 135%

10月31日 周六·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论