AWS 提出 priming 方法，将预训练 Transformer 改造为混…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载为什么要改造 Transformer
AI 智能体正快速扩展：会话更长、推理链更深、自主性更强。但底层 Transformer 架构仍要付出随处理 token 数增长的内存代价，智能体能力越强，这笔开销越大。为在内存、速度与质量之间取得更好平衡，混合架构不断涌现，常见手段包括稀疏注意力（只选取部分历史 token）、滑动窗口注意力（仅保留最近 token）以及状态空间模型（把完整历史压缩为固定大小状态）。这些混合架构可视为序列模型设计空间中的不同点，区别在于如何保留和使用过去的信息。
从零训练的高昂代价
过去要探索这一设计空间，每种新架构都得从零训练，消耗数万亿 token 和数十万 GPU 小时，导致混合架构之间的受控比较极其昂贵。AWS 团队在论文《Priming: Hybrid state space models from pre-trained Transformers》中提出 priming 方法，把预训练 Transformer 权重当作起点，将混合架构的预训练成本削减超过 99%，吞吐量最高提升至两倍。这让开发者能在大规模上回答此前因成本过高而无法回答的问题。
论文比较了哪些架构
论文比较了采用三类状态空间模型的混合模型：Gated KalmaNet、Gated DeltaNet 和 Mamba-2。团队试图回答的问题包括：哪些注意力层可以被更高效的层替换、替换多少层而不牺牲质量、哪种状态空间层效果最好，以及速度与准确率之间的权衡呈现什么形态。材料中给出的结论之一是并非所有状态空间模型表现相同。
为什么值得看
把已有 Transformer 权重改造成更省内存的混合架构，成本降到 1% 以下，为架构选型实验提供了可负担的路径。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。