论文提出 MirrorMoE 缓解 MoE 路由探索困境
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文指出，现代混合专家（MoE）架构常同时采用细粒度专家切分与共享专家两种设计，二者之间存在探索困境：共享专家降低了 token 表示的多样性，使路由探索性下降，而细粒度切分因组合空间扩大反而更需要探索，导致其表达能力难以充分兑现。作者提出 MirrorMoE，通过对不必要专家做 token 自适应抑制来缩小探索空间，从而调和这一矛盾，并在不同模型规模上取得性能提升。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载两种设计为何互相牵制
论文关注的是现代 MoE 架构中同时出现的两种做法：一是细粒度专家切分，二是在每个 token 上都激活的共享专家。前者在固定激活比例下能组合出更多专家搭配，从而提升表达能力；后者则为所有 token 提供一条固定通路。作者认为这两者之间存在探索困境：共享专家压低了 token 表示之间的差异，使路由在训练中更少去尝试不同专家，探索性因此下降。而细粒度切分恰恰把可选组合大幅扩展，本应需要更多探索才能找到合适的路由分配。需求与供给方向相反，结果是细粒度切分带来的额外表达能力在实际训练中未必能真正发挥出来。
MirrorMoE 的应对思路
针对上述矛盾，作者提出 MirrorMoE。其做法不是扩大探索，而是反向收缩：对每个 token 自适应地抑制那些不必要的专家，从而把路由需要搜索的空间压小。这样既保留了细粒度切分带来的组合潜力，又缓解了共享专家造成的探索不足问题。论文报告该方法在不同模型规模上都能稳定带来性能改善，说明这一思路并非只在单一配置下有效。摘要未给出具体的抑制机制细节、额外计算开销或与基线方法的量化对比，这些需要查阅正文才能确认。
为什么值得看
MoE 是扩展参数量的主流路线，该工作点出共享专家与细粒度切分之间的冲突并给出可扩展的缓解方案。
MoE论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。