MemFLoRA针对边缘CNN适配,大幅降低训练内存占用

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对边缘设备CNN适配时激活态内存而非可训练参数成为瓶颈的问题,MemFLoRA提出基于内存优先原则的低秩适配器。通过冻结下投影、训练缩放匹配的上投影并结合激活最小反向规则,将保存的激活内存较全量微调降低98.5-98.7%,峰值训练状态内存降低94.9-97.3%,同时准确率持平或超越现有CNN PEFT基线。该论文已被ASP-DAC 2027接收,代码已开源。

为什么值得看

突破边缘端CNN微调的内存瓶颈,为可穿戴等设备的端侧持续学习提供极高内存压缩比的实用方案。

微调论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源MemFLoRA: Memory-Floor LoRA for CNN Adaptation at the Edge

关键事实

  • MemFLoRA将保存的激活内存较全量微调降低98.5-98.7%,峰值训练状态内存降低94.9-97.3%。[1]

  • 该方法基于内存优先设计原则,冻结下投影,训练缩放匹配的上投影,采用激活最小反向规则。[1]

  • 在三个HAR数据集和两种CNN骨干网上,针对受试者、身体位置和传感器放置偏移进行了评估。[1]

  • 论文被第32届ASP-DAC(2027年1月25-28日,东京)接收,代码已公开。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。