新架构Foil优化Looped MoE：压平专家并解绑注意力
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把专家层压平再循环
这篇论文提出的 Foil 方法，回答的是如何对稀疏混合专家模型做循环复用。循环 Transformer 的思路是让同一组层被反复调用，用额外计算把固定规模的模型推得更远，从而更充分地利用参数；而稀疏 MoE 在每次前向中只为每个 token 激活众多专家中的少数几个。Foil 把这两种设计结合起来，前提是专家参数和每个 token 的专家计算量都保持不变。具体做法有两步。第一步是压平专家：把专家层数量减半，同时让每层的专家数量翻倍，并把循环次数也翻倍。这样每次路由决策面对的候选专家池更大。第二步是解开注意力：每一轮循环拥有各自的注意力参数，而专家和路由器仍然共享。作者用实验对比了压平与不压平的循环基线，并做了消融来分析 Foil 为何有效。
损失随压平程度递减
实验给出的关键数字集中在预训练损失上。在 200 亿 token 的规模下，每一个 Foil 模型的预训练损失都低于未压平的循环基线。到了 1000 亿 token，损失随压平程度的提高而单调改善，压平程度最高的 Foil 在参数量和计算量相同的情况下，最终比基线低 0.012 nat，下游准确率持平或更好。此外，在形状相同的前提下，解开注意力还带来了更均衡、置信度更高的路由。消融实验进一步说明：循环带来的收益与加宽专家层的收益会相互放大；路由置信度比负载均衡更能反映专家是否被健康地使用。由此得到的设计指引是，稀疏循环 MoE 应当采用每层更多专家、更多循环次数的配置。论文共 24 页，含 6 张图和 13 张表，代码与配置已公开。
为什么值得看
为Looped MoE提供明确设计指南：增加每层专家数与循环次数、解绑注意力可显著提升模型效能与路由质量。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。