研究称复杂MLE智能体框架无优势,强模型单会话即可达同等性能

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对自主机器学习工程(MLE)智能体,当前流行在强模型外叠加多智能体编排等复杂框架。该研究发现,在同等时间预算与相同前沿大模型骨干下,开源最优复杂框架相比仅具备读写与执行权限的最简编码智能体基线毫无性能优势,表明骨干模型才是表现的核心驱动力。大规模消融实验证实,在编码智能体设定中,多层外围机制变得冗余。为强模型手工打造复杂框架在当前MLE基准上回报极低。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

极简外壳与复杂外壳对比

这篇论文关注的是自主机器学习工程代理在搭建方式上的取舍。过去一段时间,公开榜单上的成绩推动研究者不断给代理加装外围装置,例如多代理编排器、专门负责检索的子代理等,形成层层叠加的复杂外壳。论文把注意力转向另一条路线:只保留读写与 bash 这类基础原语,让大语言模型直接接触执行环境,构成一个极简外壳的编码代理。作者在相同时间预算、相同前沿大语言模型底座的前提下,把开源的最先进复杂外壳与单次会话的极简编码代理放在一起比较,结果没有发现前者具备优势。这一对比指向一个判断:性能的主要来源是底座模型本身,而不是外围装置的繁简。

消融实验指向冗余

论文通过一系列大规模系统性消融研究来支撑上述结论。消融的做法是逐层拆解复杂外壳中的各个组件,观察去掉之后表现如何变化,以此判断哪些环节真正贡献了能力。作者据此提出,在编码代理这一设定下,那些被精心设计的机械层变得冗余。换句话说,当底座模型足够强时,围绕它手工搭建的编排、检索等结构并没有带来与之匹配的收益。论文的结论是,为当前这类机器学习工程基准投入精力去雕琢手工外壳,回报并不理想。这一判断建立在同等时间预算与同一底座的前提之上,属于对特定基准与特定设定下的观察。

对使用者的实际含义

对关注自主机器学习工程代理的读者来说,这项工作的意义在于提示资源投放的方向。如果底座模型是表现的主要驱动因素,那么在编排器、检索子代理等外围结构上继续加码,未必能换来相应的提升;相反,把模型直接接入执行环境、用读写与 bash 原语完成操作的单会话方式,在论文设定的条件下已经足够。需要留意适用范围:结论来自公开基准上的对比与消融,且限定在相同时间预算与相同前沿模型底座之下,并不直接等同于所有任务、所有模型规模都适用。论文同时给出了可访问的全文与引用信息,便于读者核对实验设置与具体数据。

为什么值得看

挑战MLE智能体越复杂越好的常识,指出提升底层大模型能力比堆砌外围框架更关键。

大模型智能体

信源1 家

  1. [1]arXiv cs.AI一手信源How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?

关键事实

  • 在同等时间预算和相同前沿大模型骨干下,开源最优复杂框架相比最简编码智能体基线无性能优势。[1]

  • 大模型骨干是MLE智能体性能的主要驱动力。[1]

  • 大规模消融实验表明,在编码智能体设定中,多层外围机制变得冗余。[1]

  • 为强模型手工打造复杂框架在当前MLE基准上回报极低。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。