注册

UltraBERT 发布：首个在分类与检索同时达 SOTA 的编码器

论文AI 评分 78/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇投稿于 arXiv 的论文提出 UltraBERT，作者为 Jungwoo Park、Taewhoo Lee、Jaewoo Kang。研究重新审视双向编码器预训练的核心设计，得到三点发现：下游任务在超过数万亿 token 后趋于饱和，继续增加算力无益；低掩码率利于分类、高掩码率利于检索，与「模型越大掩码率越高」的既有结论相反；剪枝蒸馏在低掩码率下提升分类，但在高掩码率下损害检索。据此，UltraBERT 在同一批次内为低、高掩码率分别设置语言模型头，并把蒸馏目标限制在低掩码率一侧，在 GLUE 上取得 91.0、BEIR 上取得 47.7。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

三点预训练实证发现

论文的出发点是对双向编码器预训练配方本身的重新审视：近期编码器虽吸收了因果大语言模型的诸多改进，但训练配方仍沿用早期小规模时代的惯例，导致编码器未被充分优化，也没有单一模型能在分类与检索上都具备竞争力。作者由此回到训练的核心设计选择，得到三点结论。其一，编码器在下游任务上的表现会在超过数万亿 token 后饱和，意味着此后再追加算力并不能换来效果。其二，掩码率的影响随任务类型分化：较低的掩码率对分类更有利，较高的掩码率对检索更有利，这与以往「模型越大越该用高掩码率」的说法相冲突。其三，剪枝蒸馏在低掩码率下能提升分类，但在高掩码率下会拖累检索。

单模型兼顾两类任务的做法

基于上述发现，作者设计了 UltraBERT。它的关键处理是在同一个批次内为低掩码率和高掩码率分别配置语言模型头，同时把蒸馏目标限定在低掩码率这一侧，从而避免高掩码率分支上的蒸馏对检索造成损害。论文称，UltraBERT 是首个在分类与检索任务上同时达到最优的编码器，具体成绩为 GLUE 91.0、BEIR 47.7。作者表示，这些结果既展示了编码器性能还能被推到多远，也为双向模型中的算力分配、掩码率设定与知识迁移提供了有原则的依据。

为什么值得看

编码器预训练的算力分配与掩码率设计有了可复用的实证依据，且单模型同时兼顾分类与检索。

大模型蒸馏算力论文

信源1 家

  1. [1]arXiv cs.AI一手信源UltraBERT: Beyond the Limit of BERT Pre-Training

关键事实

  • 论文标题为 UltraBERT: Beyond the Limit of BERT Pre-Training，作者是 Jungwoo Park、Taewhoo Lee、Jaewoo Kang[1]

  • 研究发现编码器在超过数万亿 token 后于下游任务上饱和，额外算力不再带来收益[1]

  • 低掩码率有利于分类、高掩码率有利于检索，与先前认为大模型应用更大掩码率的结论相矛盾[1]

  • 剪枝蒸馏在低掩码率下改善分类，但在高掩码率下使检索性能下降[1]

  • UltraBERT 在 GLUE 上达到 91.0、BEIR 上达到 47.7，论文称其为首个在分类与检索两类任务上同时取得最优的编码器[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论