研究提出在手机NPU上完成LoRA一阶训练的系统
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载为什么NPU难做训练
论文指出，端侧微调的价值在于让模型从用户私有数据中学习而无需上传。LoRA虽然减少了可训练参数，但每个一阶训练步骤仍要在前向传播、激活重计算和输入梯度计算中与冻结的基座权重相乘。手机NPU在推理时本就持有这些权重，可一旦用于训练就要计算输入梯度，而其推理接口并不支持这一操作。这构成了把NPU用于训练的主要障碍，也是该系统要解决的核心问题。
三次权重乘法的分工
该系统的做法是把上述三次冻结权重乘积全部交给NPU，而训练图、适配器与优化器保留在CPU侧。其输入梯度核直接复用NPU上常驻的权重分块和前向所用的反量化器，因此不需要额外复制一份转置权重，前向与反向也就使用同一套有效权重。为保住可用的梯度，系统依据梯度敏感度选择精度，并对半精度FP16输出施加逐行范围保护，避免数值溢出破坏训练。
运行时与后台训练
在算子层面，运行时把剩余CPU算子做融合，并让NPU执行与适配器计算相互重叠，以减少串行等待。系统还支持可恢复执行与热节流，使训练能够以后台任务的形式持续推进，适应手机长时间运行与发热受限的现实条件。这些机制共同决定了端侧训练能否在用户日常使用中真正跑完。
评测设置
实验在两个高通骁龙平台上进行，使用Qwen与Llama家族的四个大模型。工作负载既包括由手机端提供标签的夜间个性化场景，也包括公开的LaMP-2基准。对照对象涵盖优化过的CPU训练器、手机GPU训练器、仅前向训练以及GPU训练得到的参考结果，用以衡量该系统在真实端侧条件下的表现。
为什么值得看
端侧微调长期受限于NPU只支持推理，这项工作给出让NPU参与反向计算的具体路径，值得关注端侧训练可行性的人一看。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。