在手机NPU上执行一阶LoRA训练

论文让手机NPU承担LoRA训练中的冻结权重乘法。

资讯摘要

论文提出一套在手机端进行LoRA微调的系统：把前向传播、激活重计算和输入梯度计算中三次与冻结基座权重的乘法都放到NPU上执行，训练图、适配器和优化器留在CPU。其输入梯度内核复用常驻权重分块与前向反量化器，避免转置权重副本，并按梯度敏感度选择精度、对FP16输出做逐行范围保护。运行时融合剩余CPU算子并重叠NPU与适配器计算，支持可恢复执行与热节流。作者在两种高通骁龙平台、Qwen与Llama家族四个模型上评测，任务包括手机端标注的夜间个性化与LaMP-2基准。

要点速读

1. 系统将前向、激活重计算和输入梯度三次冻结权重乘法放在NPU，训练图与优化器留在CPU。
2. 输入梯度内核复用常驻权重分块和前向反量化器，避免转置权重副本。
3. 在两种骁龙平台和Qwen、Llama四个模型上评测，覆盖夜间个性化与LaMP-2基准。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。