OpenAI研究员Noam Brown阐述多智能体系统作用与局限

观点AI 评分 75/100量子位待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

OpenAI o1核心作者Noam Brown在播客中透露其正研究多智能体系统,指出其是将推理计算从串行改并行的扩展方式,效率略低但有效。此前1万个Agent耗时88小时、消耗1300亿token解出千禧年难题,但他强调多智能体贡献不到10%,核心在于基础模型足够强大。并行加速呈亚线性,数学和搜索适合并行,写小说则不适合。目前科学认识尚不充分,大规模消融实验因成本过高难以开展。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

推理算力换成绩的规律

把推理阶段投入的计算量作为横轴,把推理模型在各类基准上的得分作为纵轴,会得到一条相当清晰的曲线:模型被允许思考的时间越久,最终表现就越好。这一现象被类比为考试——只给五分钟做完整张卷子,成绩必然糟糕;给足五个小时,结果会好得多。模型在这段时间里做的事情是自我对话,梳理问题、推演不同情形、排除各种可能,并在已有结论上继续往前推。但串行等待存在现实上限,没人愿意为了一个答案干等数年,于是把计算量从单线串行改为多线并行、以团队形式组织起来,成为一条可行路径。多智能体正是这种并行扩展推理算力的方式,代价是效率偏低,因为每个单元不再独享全部上下文,但只要组织得当,仍然是相当有效的手段。

四个到十六个的实测曲线

在某个版本中,多智能体系统第一次以真正成形的形态出现在模型里,并被做成可选项:默认四个智能体协同,也可以调高数量。实测显示,四个智能体一起解题,速度大约快一倍——相当于多付两倍成本,换来快一倍的答案。扩展到十六个智能体时,规律大体相似,效率略有下降,但性能仍在继续提升。并行数量增加带来的串行耗时缩短,呈现略微的亚线性特征,具体程度高度依赖任务类型。数学问题相当适合并行拆分;网页搜索、需要翻阅大量信源的深度研究报告这类工作极其适合并行;而写长篇小说则很难并行,让大量智能体合写一部长篇,收益大概率有限,就像让同样多的人合写一部小说一样。受成本限制,这类测试目前最多做到十六个智能体的规模。

万级规模只是一次实验

此前有一个由一万个智能体组成的系统,历时八十八小时、消耗一千三百亿token,解出了一道千禧年难题。一千三百亿token若换算成一个人全职思考,每天八小时,需要约四千年,相当于把从古代苏美尔延续至今的思考时长压缩进八十八小时。但这一结果只是一次实验,并非可复现的完整研究:单个智能体解出同一问题需要多久,这个对照实验尚未做过;要做完整的消融实验,那种规模的开销根本承受不起。因此研究只能循序渐进,先观察扩展到六十四个、一百二十八个、二百五十六个智能体时会发生什么,摸清行为规律,再谈万级规模相较千级规模究竟带来多少收益。更关键的是,解出难题的功劳主要不在多智能体身上,甚至不到一成,真正起作用的是背后那个通用且足够强大的模型;多智能体因为新奇抢眼,获得了与贡献不相称的关注。

为什么值得看

澄清多智能体在复杂推理中的真实贡献与适用边界,指出强基础模型才是关键,避免对Agent并行盲目乐观。

OpenAI智能体

信源1 家

  1. [1]量子位OpenAI推理之父最新访谈!数学只是多智能体时代的开胃菜

关键事实

  • 1万个Agent耗时88小时、消耗1300亿token解出千禧年数学难题[1]

  • Noam Brown称多智能体在解出该难题中功劳占比不到10%[1]

  • 多智能体并行加速效果呈亚线性,且高度依赖任务领域[1]

  • 大规模Agent消融实验因开销过大难以执行,目前缺乏坚实科学认识[1]

相关 · 观点

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。