注册

recAMPLIFY：递归预训练蛋白质语言模型，参数少56%性能反超

论文AI 评分 78/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

研究团队将递归预训练方法迁移到掩码蛋白质语言模型上，提出recAMPLIFY：一个权重共享的Transformer核心在可调循环次数内反复精修残基对齐的隐状态。该模型仅有1.55亿唯一参数，训练token量与AMPLIFY-350M相同，均为2T，但参数少56%，在CASP接触恢复和四项监督任务中的三项上表现更优，折叠准确率提升22.5%。由于最优递归深度随任务和实验体系变化，团队进一步提出门控混合递归（GMR），按概率加权混合递归过程中访问的隐状态来解码每个蛋白质，并用学习到的残差门控制每轮更新的接受比例，把停机与门控统一为单一自适应计算目标，可将期望层深最多降低37%，但精度取舍因任务而异。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

递归预训练怎么用

蛋白质语言模型此前的进展主要靠扩大模型规模和数据量，代价高且容易出现记忆化。测试时扩展是另一条路，但为自回归大模型设计的方法无法直接搬过来：掩码编码器没有生成循环，氨基酸也不会用推理语言表达。作者的替代方案是把递归预训练适配到掩码蛋白质语言模型上，让一个权重共享的Transformer核心在可调循环次数内反复精修与残基对齐的隐状态，从而在不增加参数的情况下增加计算深度。

参数更少效果更好

recAMPLIFY拥有1.55亿唯一参数，训练所用的token量与AMPLIFY-350M一致，都是2T。在参数少56%的前提下，它在CASP接触恢复指标上有所改善，并在四项监督任务中的三项上取得更好结果，其中折叠准确率提升22.5%。这说明在同等数据预算下，递归结构带来的深度收益可以部分替代单纯堆参数。

GMR：按需决定算多深

不同任务和实验体系下，recAMPLIFY的最优递归深度并不一致。为此作者提出门控混合递归（GMR），从递归过程中访问过的隐状态里按概率加权混合出结果来解码每个蛋白质。GMR在标量、低秩或逐维分辨率上使用学习到的残差门，控制每一轮提出的更新有多少被接受到状态中，把停机与门控合并成一个自适应计算目标；不加门时，PonderNet式停机是其特例。叠加在recAMPLIFY之上，GMR可把期望层深最多降低37%，但精度取舍随任务变化。

机制层面的观察

机制分析显示，残差门控不仅影响当前推理，还能控制超出训练深度之后的递归稳定性；同时停机深度与蛋白质的生物学性质存在对应关系。论文标注为cs.LG，同时归入cs.AI与cs.CL，模型与代码均已给出链接。

为什么值得看

用更少参数在同等数据上超过更大模型，并给出可调计算深度的新思路，对蛋白质建模与测试时扩展方向都有参考价值。

对齐

信源1 家

  1. [1]arXiv cs.AI一手信源recAMPLIFY: Large-Scale Pretraining of Recursive Protein Language Models

关键事实

  • recAMPLIFY有1.55亿唯一参数，训练token量与AMPLIFY-350M相同，为2T[1]

  • 参数少56%的情况下，折叠准确率提升22.5%，并在四项监督任务中的三项上更优[1]

  • GMR将停机与门控统一为单一自适应计算目标，可把期望层深最多降低37%[1]

  • 残差门控可控制超出训练深度的递归稳定性，停机深度与生物学性质相关[1]

相关 · 论文

研究者提出用「逆向博弈论」约束AI智能体行为

11月3日 周二·AI 58

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

11月3日 周二·AI 72

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

Pixel-UMI：从传感器化人类演示学习全身操作策略

11月3日 周二·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论