EvoSkill v2 发布:三智能体系统改写技能指令,不触碰模型与运行框架
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载系统如何运转
EvoSkill v2 的出发点是把「技能」与「模型」分开:它只改写智能体收到的指令文本,模型权重和外部运行框架都不动。一次运行由用户描述基准并提供评分器开始,基准适配器把这两样东西转成该基准专用的插件。随后求解器在任务上尝试,进化器读取求解器产生的训练轨迹,在每个 epoch 结束时重写技能。论文把进化器做成一个带 bash 工具、整轮运行保持同一状态的有状态编码智能体,这与作者调研到的两类常见技能优化器不同:SkillOpt 采用一串单次模型调用,SkillBoost 则每轮重新起一个智能体。
针对噪声的几处设计
作者还测量了求解器在不同尝试之间轨迹的波动程度,并据此做了三处安排:给进化器在每道训练任务上多次尝试的机会;接受每个 epoch 产出的技能,而不是依据带噪声的分数在多个候选间挑选。这些设计指向同一个问题——单次评分不足以稳定判断技能好坏。论文用细粒度真值来检验效果,报告的是留出集通过率,而不是训练时的分数。
与两个基线的对比结果
在 SpreadsheetBench v2 上,EvoSkill v2 的技能把留出集通过率提高到比 SkillOpt 与 SkillBoost 中更强的一方还高 7.7 个百分点;在 τ³-bench banking 上这一差距为 5.4 个百分点。成本方面,论文按「每提升一个百分点留出集通过率所花的进化器成本」计量,在两个基准和两种反馈设置下都低于两个基线各自的优化器。论文还展示能力较弱的模型也能改进自身技能:在 τ³-bench banking 实验中由 Claude Haiku 5.5 同时担任求解器与进化器,提升最高达到 21.5 个百分点。
为什么值得看
技能层优化不换模型即可涨点,且给出成本对比,对做智能体后训练与评测的团队有直接参考价值。
信源1 家
关键事实
EvoSkill v2 由三个智能体组成,只编辑智能体的技能指令,模型与运行框架保持不变。[1]
进化器是一个带 bash 工具、贯穿整轮运行的有状态编码智能体,不同于 SkillOpt 的连续单次调用与 SkillBoost 的每轮重启。[1]
在细粒度真值下,留出集通过率在 SpreadsheetBench v2 上高出两个基线中更强的一方 7.7 个百分点,在 τ³-bench banking 上高出 5.4 个百分点。[1]
两个基准、两种反馈设置下,每提升一个百分点留出集通过率的进化器成本均低于两个基线的优化器。[1]
Claude Haiku 5.5 同时驱动求解器与进化器时,τ³-bench banking 实验提升最高 21.5 个百分点。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
