AI 圈大事记

新研究提出Meta-Skill方法,为AI代理构建更优执行环境

论文AI 评分 65/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

该论文探讨测试阶段的AI-for-AI,研究Builder模型如何在权重固定时,为Target模型构建更优执行环境。作者引入Meta-Skill概念,即规定何时需支持及提供何种资源的原则。Builder从Target的开发集执行反馈中学习该原则,形成冻结技能库,为未见任务构建环境。在Harness-Bench与NewtonBench上,全库Meta-Skill比无技能构建使宏平均性能提升8.95个百分点,比将同技能库直接交Target提升12.02个百分点。同一模型兼任两职时的增益表明,通过学习构建更优环境可实现系统级自我改进。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

测试阶段AI4AI与Meta-Skill

代理表现同时取决于推理能力与执行环境。该研究聚焦测试阶段的AI-for-AI设定,探讨在Builder与Target两模型权重均固定的前提下,Builder如何为Target构建更佳的执行环境。为使Builder的经验可复用,作者提出Meta-Skill机制,其本质是一组原则,明确指出了在何种情况下需要提供支持,以及应当分配何种资源。Builder依据Target在开发集上的执行反馈来习得这些原则,随后利用已冻结的技能库,为未曾见过的任务构建相应的执行环境。

基准测试表现与自我改进

在Harness-Bench与NewtonBench两个基准测试中,采用全库Meta-Skill的方法带来了显著的性能提升。相较于不使用技能构建环境的基础方式,宏平均性能提高了8.95个百分点;而相较于将相同的技能库直接交付给Target模型使用的做法,宏平均性能更是提升了12.02个百分点。这证实了将经验转化为可执行支持的价值。此外,当同一个模型同时扮演Builder与Target两个角色时,依然能观察到性能增益,这揭示了一条通过学习构建更优环境来实现系统层面自我改进的可行路径。

为什么值得看

提出不调权重而通过学习构建环境实现系统级自我改进的路径,性能提升显著。

Meta论文

信源1 家

  1. [1]arXiv cs.AI一手信源Learning Meta-Skills for Agent Harness Design in Test-Time AI4AI

关键事实

  • 引入Meta-Skill概念,让Builder模型从Target反馈中学习构建执行环境的原则[1]

  • 全库Meta-Skill比无技能构建在宏平均性能上提升8.95个百分点[1]

  • 全库Meta-Skill比将技能库直接交Target提升12.02个百分点[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。