WeAct 将 LoRA 适配器选择纳入智能体动作空间
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
论文提出 WeAct,在冻结的主干模型上训练多个能力专属的 LoRA 适配器,并把适配器选择加入智能体的动作空间,通过模型原生工具调用接口在共享上下文中按需组合能力,以缓解长程任务中更新共享参数导致的灾难性遗忘。在八个深度研究基准上,Qwen3-32B 搭配 WeAct 相比全量微调平均准确率提升 6.2%,且算力消耗更少;相比最强的静态 LoRA 合并方法提升 27.5%。该方法还支持模块化持续适配:新增代码计算适配器、更新写作适配器时,主干与其他适配器均保持不变。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载方法:把选适配器当动作
论文关注长程智能体在交错轨迹中学习多种能力时的灾难性遗忘问题:更新共享参数学习新能力,会削弱此前已掌握的能力。WeAct 的做法是在冻结的主干模型上分别训练面向不同能力的 LoRA 适配器,并把适配器选择本身加入智能体的动作空间,称为权重层面的内部动作。这些内部动作复用模型原生的工具调用接口,因此能力组合可以在同一段共享上下文中按需完成,而不必在训练阶段就把参数固定下来。
对比静态参数配置的差距
论文指出,常规联合训练与静态适配器合并在整个执行过程中都维持固定的参数配置,而一条轨迹的不同阶段往往需要不同能力。WeAct 让参数配置随轨迹推进而变化。在八个深度研究基准上,Qwen3-32B 搭配 WeAct 相比全量微调的平均准确率高出 6.2%,同时算力开销更少;与最强的静态 LoRA 合并方法相比,平均准确率高出 27.5%。
模块化持续适配
WeAct 还支持以模块为单位持续扩展能力:新增一个代码计算适配器来扩展智能体能力,以及更新已有的写作适配器来提升报告质量。两类更新都不改动主干与其他适配器,因而可以在不影响既有能力的前提下迭代单个模块。论文共 24 页,含 14 张图、12 张表及参考文献与附录。
为什么值得看
把权重切换做成智能体可调用的动作,为长程任务的能力组合与持续学习提供了可复用的工程思路。
Qwen智能体微调算力论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
