注册

ProtModernBERT：预训练算力最高降九成的蛋白质语言模型

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

研究团队提出 ProtModernBERT，一种基于氨基酸序列预训练的现代化 BERT 风格模型，目标是在算力受限的实验环境中降低训练成本。在二级结构预测、无序区预测、亚细胞定位等监督结构任务以及 ProteinGym 零样本功能基准上，该模型性能与 Amplify-120M、ProtBert 相当或接近，而预训练 FLOPs 最多减少 80% 至 90%，与 ESM2 的差距在控制预训练条件后有所缩小。作者还采用基于聚类的验证协议选择超参数，并用随机初始化模型区分架构与数据的贡献，认为现代架构组件带来的归纳偏置在低算力条件下比参数量更关键。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

用现代组件改造编码器

这篇论文把改进重点放在编码器结构的现代化上，而不是单纯堆参数。作者提出 ProtModernBERT，一种以氨基酸序列为输入、采用 BERT 风格预训练的模型。他们关注的是算力受限的研究实验室所处的低算力区间，认为在这一区间里，架构层面的改进此前被探索得不够。论文的核心主张是：借助较新的架构细化手段，编码器类 transformer 的训练开销可以降下来，从而在性能与算力效率之间取得一个值得关注的折中。作者同时给出了用于超参数选择的基于聚类的验证流程，并借助随机初始化模型做对照，试图把架构带来的贡献与数据带来的贡献分开来看。

对比对象与评测任务

作者把 ProtModernBERT 与 ProtBert、Amplify 以及 ESM2 放在一起比较。评测分两块：一块是有监督的结构类任务，覆盖二级结构预测、无序区预测和亚细胞定位；另一块是 ProteinGym 的零样本功能基准。结果显示，在预训练 FLOPs 大幅减少的情况下，ProtModernBERT 的表现与 Amplify-120M、ProtBert 相当或非常接近；在控制预训练条件后，它与 ESM2 之间的差距被缩小。论文共 12 页、含 5 幅图，作者署名为 Alberto Martínez、Natalia Flechas Manrique、Llorenç Espinosa-Portalés 和 Luc Andrea，提交时间为 2026 年 10 月 14 日，编号 arXiv:2610.19738。

架构比参数量更关键

论文的一项结论指向低算力场景下的取舍逻辑：现代架构组件带来的归纳偏置更强，其影响超过参数数量的作用。这一判断来自他们把架构因素与数据因素拆开分析的做法，而不是只看最终分数。对读者而言，这意味着在预算有限时，选择经过现代化改造的编码器结构，可能比直接选用更大的模型更划算；同时，论文也提示这类模型的能力边界仍受预训练条件制约，与更大规模模型之间仍存在需要控制的差距。论文还标注了机器学习、人工智能与定量方法等分类，并提供 PDF 与实验性 HTML 版本。

为什么值得看

用更少预训练算力逼近主流蛋白质语言模型，对算力有限的研究实验室有直接参考价值。

算力论文

信源1 家

  1. [1]arXiv cs.AI一手信源ProtModernBERT: Compute-Efficient Protein Language Modeling

关键事实

  • 论文提出 ProtModernBERT，一种在氨基酸序列上预训练的现代化 BERT 风格模型[1]

  • 在二级结构预测、无序区预测、亚细胞定位等任务及 ProteinGym 零样本基准上，其性能与 Amplify-120M、ProtBert 相当或接近[1]

  • 预训练 FLOPs 最多减少 80% 至 90%，控制预训练后与 ESM2 的差距缩小[1]

  • 研究用基于聚类的验证协议选择超参数，并以随机初始化模型区分架构与数据的贡献[1]

  • 作者认为现代组件提供的归纳偏置在低算力条件下比参数量更重要[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论