免重训方法让预训练Transformer按算力预算弹性伸缩
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载固定尺寸带来的部署难题
论文指出，Transformer规模扩大后能力更广，但要部署在异构硬件和波动负载上。模型家族通常只提供少数固定尺寸（如S、B、L），使用者只能依据硬件与延迟限制选定一个版本。在查询负载变化时，这种刚性往往并非最优。作者提出的目标是不做重训练，就把预训练Transformer改造成一个能在连续计算预算上即时调整的单一模型，从而让同一份权重适配不同算力条件。
联合排序神经元与注意力头
方法的核心是对功能单元排序问题做可微松弛。此前的工作通常为每个MLP块或每个注意力头优化单一重要性权重；本文改为把每一个MLP神经元和每一个注意力头放在共同尺度上联合排序，并在许多稀疏目标下同时最小化模型在软剪枝后的损失。这样一次处理即可覆盖多个稀疏度，而不必为每个预算单独搜索。作者称弹性模型可在数分钟内生成，构建时间随参数量的增长呈亚线性。
27个编码器上的实测表现
实验覆盖27个视觉与文本Transformer编码器，参数从22M到8B。结果显示稀疏度提升到60%时性能平滑退化，在深度剪枝条件下优于一次性基线。具体案例包括：把DINOv3 ViT-H+/16剪枝到50%稀疏度，移除427M参数，ImageNet-1k线性探测精度只下降0.8%，且不需要权重校正或重训练；把AugReg ViT-B/16剪到60%稀疏度，在A100 GPU上吞吐最高提升1.80倍，单查询延迟降低1.26倍。代码已公开。
为什么值得看
给出免重训、分钟级构建的弹性推理路径，并附具体精度与吞吐数据，对部署侧有直接参考价值。
信源1 家
关键事实
论文题为《Your Transformer Is Secretly Elastic》，作者为Walter Simoncini、Dheeraj Varghese、Gertjan J. Burghouts、Cees G.M. Snoek，20…[1]
方法无需重训练，把预训练Transformer转成可在连续计算预算间即时切换的单一模型。[1]
关键做法是对功能单元排序问题做可微松弛，将每个MLP神经元与注意力头放在同一尺度上联合排序，并在多个稀疏目标下同时最小化软剪枝损失。[1]
在27个视觉与文本Transformer编码器上测试，参数范围22M至8B，稀疏度达60%时性能平滑下降，深度剪枝下优于一次性基线。[1]
DINOv3 ViT-H+/16剪枝至50%稀疏度移除427M参数，ImageNet-1k线性探测精度仅降0.8%；AugReg ViT-B/16在60%稀疏度下A100吞吐最高提升1.80倍、单查询延迟降低1.26倍。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。