研究提出I&P方法，结合主动学习与剪枝
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把剪枝塞进主动学习循环
这篇论文注意到两套方法共享同一个动作：反复从零重训模型。彩票假说下的迭代幅度剪枝，靠剪枝与完整重训交替进行，一轮轮循环直到收敛；基于池的深度主动学习同样在每轮拿到新标注后重新训练模型。作者提出 Improve & Prune（I&P），把幅度剪枝直接嵌入主动学习的每一次重训周期里，按论文的说法，这样做几乎不增加额外开销。原因在于主动学习本身的迭代训练结构，已经提供了迭代幅度剪枝所需要的那套计算流程，两者可以共用同一次训练过程，而不必各自跑一遍。
稀疏度到 95% 仍对齐精度
论文要回答的实证问题是：在主动学习这种数据分布不断变化的非稳态条件下，迭代幅度剪枝还能不能产出中奖票。作者在多种采集函数、多种网络架构族以及多个图像分类数据集上做了检验，还包含一个主动微调的场景。结果显示，I&P 在主动学习的每一轮迭代中都能给出稀疏且可直接部署的模型，这些模型在稀疏度最高达到 95% 时，精度与对应的稠密模型相当。也就是说，中奖票成了主动学习流程的副产品，而不需要为寻找它单独付出代价。
两个瓶颈同时被压缩
论文把收益落在两处计算瓶颈上。其一是每轮重新训练模型的开销，其二是对未标注池做采集打分时的开销。这两项正是当前阻碍深度主动学习在大架构和大规模未标注池上实际落地的主要因素。由于每轮产出的都是稀疏模型，训练与打分所面对的参数量都随之下降，而精度仍与稠密版本持平。适用范围上，论文的验证覆盖图像分类与主动微调，采集函数与架构族各取了多种；至于其他任务类型是否同样成立，材料没有给出结论。
对使用者的实际含义
对打算在标注预算有限、未标注数据量又很大的场景里使用主动学习的人来说，这项工作的意义在于不必在稀疏化与主动采样之间二选一：一次循环同时拿到可部署的稀疏模型和下一轮采集所需的打分依据。需要留意的是，论文的结论建立在稀疏度上限 95% 这一区间内，且精度对比的对象是同一流程下的稠密模型，而非其他压缩方案。材料未提供与既有剪枝或蒸馏路线的横向比较数据，因此跨方案的优劣尚无法从这份材料判断。
为什么值得看
以零额外计算成本在主动学习中获得稀疏模型，大幅降低推理与计算开销。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。