注册

LIRA：用损失扰动信号动态分配 LoRA 秩

论文AI 评分 62/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

论文提出 LIRA，一种动态秩 LoRA 方法，目标是让在线秩重分配更可解释。标准 LoRA 使用固定秩配置，而近期的自适应秩方案多依赖启发式或一阶信号，秩调整与局部损失行为之间只有间接联系。LIRA 在二阶近似下，用每层近期 LoRA 因子移动所对应的局部损失扰动幅度为该层打分，使每次秩变化的依据可以逐项解释；它周期性执行 DELTA 算法完成秩重分配，在预算匹配下产生离散的有效秩，并兼容标准 (A,B) 适配器。在 RoBERTa-base GLUE 的 La-LoRA/LoRA 协议下，LIRA 优于该协议下的 uniform-LoRA 与自适应秩基线；Trajectory EMA 以更低的估计成本达到与 Fixed-point Fisher 相当的表现。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

固定秩的问题

论文指出，标准 LoRA 通常给所有层分配相同的固定秩，但不同层、不同训练阶段对适配容量的需求并不一致。近期的自适应秩变体尝试缓解这一点，却多依赖启发式规则或一阶信号，秩重分配与局部损失行为之间只存在间接联系，导致每次调整秩的理由难以解释。LIRA 的出发点正是补上这一环：让在线秩重分配的依据可以被逐项追溯。

打分与重分配机制

LIRA 的做法是在二阶近似下估计局部损失扰动的幅度，用每层近期 LoRA 因子移动所对应的这一幅度作为该层的分数，因此每次秩变化都能对应到具体的损失项。在此基础上，方法周期性调用 DELTA（Displacement-Evaluated Loss-Trajectory Allocation），这是一种基于位移的 LoRA 秩重分配算法，在预算匹配的条件下产生离散的有效秩。实现上它保持与标准 (A,B) 适配器的兼容，不要求替换已有的适配器形式。

实验与成本取舍

在 RoBERTa-base 的 GLUE 基准上，按 La-LoRA/LoRA 协议评测，LIRA 的表现超过该协议下报告的 uniform-LoRA 与自适应秩基线。论文还比较了两种估计方式：Trajectory EMA 在更低的估计成本下取得与 Fixed-point Fisher 相当的性能，这为实际部署时在精度与开销之间取舍提供了参考。材料未给出具体的提升数值与秩配置细节。

为什么值得看

关注参数高效微调的研究者可以看：它把秩分配的依据从启发式信号换成可解释的损失扰动打分，并给出 GLUE 上的对比结果。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源LIRA: A More Interpretable Dynamic Loss-Informed Rank Allocation for Low-Rank Adaptation

关键事实

  • LIRA 在二阶近似下用每层近期 LoRA 因子移动对应的局部损失扰动幅度为该层打分[1]

  • LIRA 周期性执行 DELTA 算法进行 LoRA 秩重分配，在预算匹配下产生离散有效秩[1]

  • LIRA 兼容标准 (A,B) 适配器[1]

  • 在 RoBERTa-base GLUE 的 La-LoRA/LoRA 协议下，LIRA 优于 uniform-LoRA 与自适应秩基线[1]

  • Trajectory EMA 以更低估计成本达到与 Fixed-point Fisher 相当的表现[1]

相关 · 论文

Axiom Math 融资 16 亿美元，为 AI 数学构建可验证基础

11月6日 周五·AI 72

BEAKER：面向自动驾驶化学实验室的具身智能基准发布

11月5日 周四·AI 68

FrontierPhysics 基准发布：56 项任务考察智能体端到端物理研究

11月5日 周四·AI 78

HALO 人形机器人系统：仿真训练实现零样本真机迁移，成功率 91%

11月5日 周四·AI 82

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论