MicroQonv重塑卷积张量，大幅降低微缩放量化开销与内存搬运
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载量化两次的额外开销
在卷积层里直接套用微缩放量化并不省事。一种朴素做法是把全精度权重和激活值先搬到处理单元，再对每个张量做两次量化，结果是内存搬运量远超预期。激活张量的问题更突出：量化之前要先做 im2col 变换，这个变换会把激活张量撑大，随之而来的开销进一步增加。MicroQonv 针对的正是这两处浪费。
只量化一次并改换布局
MicroQonv 的思路是让微缩放量化与卷积的前向、反向运算结合起来，每个张量只量化一次。对激活张量，它把量化提到 im2col 之前，并改用一种调整过的变换方式，称为 channel-batch-first im2col。按论文给出的数据，这一改动使权重与梯度的量化开销降到原来的二分之一，激活的量化开销最多降到九分之一，而精度损失可以忽略。相比全精度方案，内存搬运与存储最多减少到原来的七点五三分之一。
检测模型上的搬运量
在具体模型上，MicroQonv 对微缩放量化后的激活内存搬运量也有压缩效果：面向 YOLOV8nano 这类当前目标检测模型，搬运量降到原来的三点五分之一；面向 YOLOV26nano，降到二点二分之一。这些数字说明收益随模型结构不同而有差异，并非固定比例。
边缘持续学习的适用面
MicroQonv 还让 4 位微缩放量化可以用于一种量化潜在回放策略，服务于边缘端的持续学习，准确率因此提升 5.7% 到 11%。论文共 12 页、含 7 幅图，归入硬件架构与人工智能方向。对关注卷积网络训练与推理效率的读者来说，可留意的是它把量化时机前移、并改动张量排布这一做法，以及上述收益是在可忽略精度代价的前提下取得的。
为什么值得看
显著降低低比特卷积量化开销与内存搬运，对边缘端持续学习部署极具价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。