SPEAR模型提出：基于频谱解耦与知识引导聚合的大规模PDE预训练
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把隐特征拆成高低频
SPEAR 的核心做法是把神经算子中的隐特征按频率拆开，分成低频与高频两部分分别处理。低频部分承担可迁移动力学的共享建模，高频部分则用来专门学习与具体 PDE 相关的模式。这样做的出发点是：现有 PDE 基础模型在面对异质动力学时，共享表示容易造成知识干扰，而单纯依靠混合专家架构又会带来专家冗余。把频谱维度上的解耦与专家机制结合，是这篇工作试图同时缓解这两个问题的思路。论文在十二个 PDE 数据集以及多个下游基准上做了实验，覆盖预训练、微调与迁移学习三种设定，报告的结果优于对比方案。
按知识相似度合并专家
针对专家冗余，SPEAR 设计了一种知识引导的专家聚合策略。该策略不是只看路由偏好，而是同时从数据集层面学到的知识与路由倾向两方面衡量专家之间的相似程度，据此找出彼此接近的专家并加以合并。合并带来的直接效果是专家数量减少一半，而预测精度保持不降或有所提升。论文把这一点视为在模型效率与泛化能力之间取得平衡的证据，说明减少专家并不必然牺牲 PDE 预测表现。
适用边界与读者意义
从适用范围看，SPEAR 面向的是大规模 PDE 预训练场景，其收益体现在跨数据集的预训练、下游微调以及迁移学习三类任务上，实验覆盖十二个 PDE 数据集。限制在于，材料只给出聚合后专家数量减半这一项效率指标，未披露参数量、训练成本或推理开销的具体变化，也未说明该方法在 PDE 之外的序列或场预测任务上是否成立。对关注 PDE 基础模型的读者而言，这项工作的可借鉴之处在于：频谱解耦提供了一条区分共享动力学与专属模式的路径，而基于知识与路由双重信号的专家合并，则为控制 MoE 规模提供了一种可操作的思路。
为什么值得看
解决PDE基础模型MoE架构专家冗余与异构动态干扰，专家数减半且精度不降，对大规模科学计算模型提效具参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。