受脑结构启发的新剪枝框架ASF-S:减参70%无需重训即可恢复精度
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载剪枝为何需要新判据
结构化剪枝面向的是在算力有限的设备上部署深度神经网络时的开销问题,做法是成块地去掉网络中的部分结构。论文指出,常见剪枝方案依赖不透明的启发式规则,或者只看权重数值大小的判据,这类做法无法说明网络内部存在怎样的结构依赖关系。换句话说,剪掉哪一块、留下哪一块,在既有方法里缺少可解释的依据。作者把这一缺口作为切入点,提出名为 Artificial Structure Function Search(ASF-S)的结构化剪枝框架,并为其配套设计了一个新的剪枝候选筛选标准 Principle Gradient Importance(PGI)。
从脑结构借来的筛选标准
PGI 的灵感来自大脑中结构与功能之间的对应关系。作者用这一思路来判断哪些结构适合被剪掉:让剪枝后的模型结构仍然尊重输出层的拓扑组织方式。围绕这一点,论文为人工神经网络定义了 Artificial Functional Connectivity(AFC)这一概念。按作者的表述,AFC 提供的证据表明,只要剪枝候选的筛选标准足够细致,就能找到规模更小但精度依然可用的网络。也就是说,判据不再只盯着单个权重的数值,而是把结构层面的组织关系纳入考量。
与已有方案的对照
论文把 PGI 作为筛选标准、把 ASF-S 作为剪枝框架,分别与近期的基准方法做了对比。对比的落脚点在于:作者的方法得到的模型变体在参数量大幅缩减的同时,被剪掉的层不需要重新训练就能恢复到基线精度。这一点与依赖不透明启发式或纯权重判据的流行做法形成区别——后者既说不清结构依赖,也往往需要在剪枝后额外投入训练来弥补精度损失。论文给出的结果用于支撑“细致的候选筛选能换来更小且准确的网络”这一判断。
适用范围与读者关切
从论文的定位看,ASF-S 服务的是资源受限设备上的模型压缩场景,属于结构化剪枝这一技术类别。读者需要留意的是,论文强调的是剪枝候选选择标准的作用,以及剪枝后层无需重训即可恢复基线精度这一结果;至于具体在哪些网络架构、哪些任务上成立,材料只给出与近期基准的对比,没有展开更多条件。论文于 2026 年 9 月 21 日提交至 arXiv,编号 2609.24401,归类在 cs.LG 与 cs.AI 之下,作者为 Mindula Illeperuma、Rafael Pina、Charuka Herath、Sharmarke A. Gabayre 与 Varuna De Silva。
为什么值得看
实现70%参数削减且免重训恢复精度,大幅降低设备部署成本与微调开销。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
