研究解析 DeepSeek-V4-Flash 的多流残差机制
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载多流架构使用效率
研究人员针对 DeepSeek-V4-Flash 模型的四流残差路径进行了深入分析。通过有效流数量、跨流残差权重和流间余弦相似度等指标，评估了模型如何利用这一扩大的容量。结果显示，读写路由虽然集中，但会随着网络深度发生变化。在典型的注意力或前馈网络位置，模型实际上只有效利用了大约两个流。尽管主导流在不同层级间会发生切换，但各流所承载的表征在方向上依然保持显著差异。
层级混合行为差异
关于残差路径对流的混合程度，研究发现这种混合行为相对温和，且主要发生在网络的早期层级。具体而言，在第 22 至 42 层中，残差路径几乎不再进行复杂的流间混合，而是倾向于将每个流独立地向前传递。这意味着在模型的后半部分，多流架构并未通过强混合来整合信息，而是保持了各流的独立性。
组件功能重要性验证
通过针对性的干预实验，研究验证了不同层级混合器的功能意义。当把后期的混合器替换为恒等映射时，C4 数据集上的困惑度仅上升了 1.9%，且六项任务的平均得分保持不变。相反，若替换早期的混合器，困惑度则会大幅增加 41%。此外，将早期混合器固定为 C4 诊断均值，仅导致困惑度微增 0.2%，平均得分下降 0.25 个百分点。这表明早期混合器的特定结构比其随 Token 变化的细节更为关键。
架构灵活性利用程度
进一步的实验测试了路由权重的稀疏性。如果在每个位置仅保留每个 Token 最大的三个路由权重，困惑度最多增加 2.7%，平均得分变化不超过 0.4 分。综合这些结果，该研究得出结论：DeepSeek-V4-Flash 仅部分实现了四流 mHC 架构所提供的灵活性。单个模块极少需要全部四个流，且后期的残差混合在所评估的指标中提供的实际收益微乎其微。
为什么值得看
揭示大模型内部多流残差的实际运作机制，指导未来架构设计。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。