研究提出 MoE 专家剪枝新方法 PEEP 与 DCEP

10月30日周五 12:21论文AI 评分 72/100arXiv cs.AI

AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文指出，MoE 层中各专家的输出存在结构化冗余：在不同模型和任务类别上，专家输出的稳定秩与熵有效秩都远低于专家名义数量，输出分布的有效模态也更少。作者据此把专家剪枝重新表述为保持结构的专家子集选择问题，并用贪心策略求解，提出 PEEP（最大化加权投影能量以保留功能子空间）和 DCEP（最小化加权覆盖误差以保留分布几何）两种方法，两者都以路由器权重作为先验。在 DeepSeek-V2-Lite 与 Qwen3-30B-A3B 上，当专家保留率为 75% 和 50% 时，这两种方法在多数基准上优于现有基线，在通用任务与数学推理任务上的平均表现均为最佳。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

冗余从何而来

论文的出发点是一个观测结果：MoE 层里各专家的输出并不是彼此独立、信息量均等的。作者在多个模型和不同任务类别上测量专家输出的稳定秩与熵有效秩，发现这两个指标都明显低于专家的名义数量；同时，专家输出分布呈现的有效模态数量也更少。也就是说，名义上存在大量专家，但真正承载不同功能的子空间要小得多。这一现象被概括为结构化冗余，它解释了为什么在部署阶段仍需保存全部专家、带来显著内存开销的同时，剪掉一部分专家未必会损失相应比例的能力。

从打分排序到子集选择

基于上述观察，作者没有沿用逐个专家独立打分再排序的做法，也没有对专家组合做穷举搜索，而是把剪枝改写成一个保持结构的专家子集选择问题，并用贪心策略高效求解。在这个统一框架下给出两种具体方法：PEEP 通过最大化加权投影能量来保留功能子空间，DCEP 通过最小化加权覆盖误差来保留分布几何。两者都引入路由器权重作为先验，从而在考虑单个专家局部重要性的同时，兼顾专家之间的全局结构关系。这一设计是该方法与只按个体重要性排序的剪枝方案的主要区别。

实测结果与适用条件

实验选取 DeepSeek-V2-Lite 与 Qwen3-30B-A3B 两个 MoE 模型，在专家保留率 75% 和 50% 两档设置下与现有基线比较。结果显示，两种方法在多数基准上表现更优，并在通用任务和数学推理任务上均取得最佳平均成绩。材料未披露具体的基准名称、分数差距与绝对性能数值，也未说明剪枝后的内存占用或推理速度变化，因此这些方面的收益幅度尚无法从摘要中判断。论文于 2026 年 10 月 30 日提交至 arXiv cs.AI，编号 arXiv:2610.41236。

为什么值得看

MoE 部署需要存下全部专家，内存开销大；该工作给出可保留 50%–75% 专家的剪枝思路与实测对比。

DeepSeekQwenMoE论文

信源1 家

[1]arXiv cs.AI一手信源Experts Exhibit Structured Redundancy: Structure-Preserving Expert Pruning for Mixture-of-Experts Large Language Models

关键事实

论文指出 MoE 层专家输出的稳定秩和熵有效秩持续远低于专家名义数量，输出分布的有效模态也更少[1]
作者把专家剪枝重构为保持结构的专家子集选择问题，并用贪心策略优化[1]
提出 PEEP 与 DCEP 两种方法，分别最大化加权投影能量、最小化加权覆盖误差，并以路由器权重作为先验[1]
在 DeepSeek-V2-Lite 和 Qwen3-30B-A3B 上，专家保留率 75% 与 50% 时多数基准超过现有基线[1]
两种方法在通用任务与数学推理任务上均取得最佳平均表现[1]

研究提出 MoE 专家剪枝新方法 PEEP 与 DCEP

全文梳理

冗余从何而来

从打分排序到子集选择

实测结果与适用条件

为什么值得看

信源1 家

关键事实

相关 · 论文

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测

LSA 稀疏注意力方法：百万级上下文下提速最高 72.4 倍

ID-WM 分层世界模型提出，长程任务性能提升 135%