研究探讨AI智能体自演化技能在未见任务上的泛化能力
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载训练提升未必迁移
智能体能把过往任务中习得的内容外化为可复用的技能，形式包括流程、清单、代码或其他可执行产物，在解决新任务时被调取使用。自我演化类方法会在每轮训练任务练习后反复改写这些技能，随后把技能用于同类新任务。研究提出的问题是：技能在训练任务上表现出的提升，能否延续到新的测试任务上。为回答该问题，研究在六个基准上测试了五种自我演化方法与一种一次性技能，所有方法使用同一模型、同一智能体以及相同的训练与测试划分。结果显示，在训练任务上有所提升的二十一项技能中，五项把全部提升保留到了测试任务，十三项只保留了一部分，三项完全没有保留。此外，没有任何一种现有方法在所有场景中都表现最好。
迁移失败的具体形态
研究者进一步阅读这些技能的内容，发现迁移效果差的技能往往固化了本应随任务变化的细节，例如列名和输出文件；或者把针对某一次失败的修补上升为适用于所有任务的规则。这种写法使技能在训练任务上看似有效，却难以适配新任务。研究还考察了让大模型评判者阅读技能内容来预判迁移效果的做法：在已完成技能的两两比较中，评判者的排序结果与测试结果一致的比例达到百分之八十六。但评判者对单次编辑所产生效果的预测表现较差，因此对技能的每一次修改仍需通过实际运行来检验，不能仅凭阅读内容判断其优劣。
GSO 的做法与表现
基于上述发现，研究描述了名为 Generalizable Skill Optimization 的方法，简称 GSO。与持续改写同一份技能的做法不同，GSO 只保留一份用于撰写技能的指南，并针对每一个任务重新写出新的技能。这样做的目的是避免把只适用于特定任务的细节或单次失败的修补固化进技能，从而减少对训练任务的过拟合。在六个基准上，GSO 的得分均为最高。对读者而言，这意味着自我演化技能在训练任务上的提升并不自动等于在新任务上的提升，评估技能时应关注其是否携带了任务相关的具体细节；同时，技能编辑的效果仍需通过运行来验证，而按任务重新生成技能是一条在测试中表现更好的路径。
为什么值得看
直击智能体技能库构建的核心痛点，评估自演化技能在未知任务上的真实泛化边界。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。