ITC-MoE框架实现MoE扩散语言模型高效压缩与7.22倍加速
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载MoE扩散模型的压缩难题
混合专家（MoE）扩散语言模型能够实现灵活的并行解码，同时扩大模型容量，但专家参数数量庞大，带来可观的计算与存储开销。已有的低秩MoE压缩方案多采用静态分解与固定秩分配，没有考虑MoE扩散语言模型自身的特性。论文指出两个特性：一是跨模式非均匀冗余，即参数冗余和对秩截断的敏感度在输入、输出与专家三种模式上并不一致；二是逐token利用差异，即热token与冷token在谱特性和专家激活模式上表现不同。这两个特性意味着统一的压缩策略难以兼顾不同模式与不同token的需求。
重要性引导的自适应分解
针对上述问题，作者提出ITC-MoE框架，由两个互补组件构成。第一个组件是重要性引导的自适应Tucker压缩（IATC），它把激活重要性和梯度重要性引入专家权重的变换过程，在多个模式上对专家权重做联合分解，并在固定参数预算下自适应地分配秩。与依赖静态分解和固定秩的既有方法相比，这种做法让压缩容量随参数冗余的实际分布而调整，而不是对所有部分一视同仁。
token感知的补偿与路由
第二个组件是token感知补偿与路由（TCR）。它对压缩敏感的热token施加轻量低秩补偿，以缓解压缩带来的质量损失；对路由模式集中的冷token，则收窄候选专家集合，减少不必要的专家参与。这样，压缩能力与推理执行同时适配参数冗余和token层面的差异，在降低计算与存储成本的同时尽量保住生成质量。
实测效果与适用范围
在SDAR-30B-A3B-Chat-b32上，ITC-MoE在30%压缩预算下于MultiArith上保持96.33%的准确率，端到端加速最高达到7.22倍。论文称代码已公开。对读者而言，这意味着在MoE扩散语言模型上，压缩不必以大幅牺牲生成质量为代价，但具体收益仍取决于模型、任务与所设压缩预算，上述数字来自该单一模型的特定评测设置。
为什么值得看
解决MoE扩散模型冗余问题，在大幅压缩与加速的同时几乎无损精度，代码已开源。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。