arXiv 论文:LLM 智能体扩展发现需定期遗忘
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
一篇 arXiv 论文指出,用 LLM 智能体做自动化研究时,让单个智能体迭代更久、并行跑多个智能体、或让并行智能体互相通信借鉴,这三种扩展方式最终都会因历史累积而停滞:每个智能体被自身过往尝试锚定,改动越来越少、越来越小,再增加预算也收效甚微。作者提出,继续扩展发现的关键是遗忘——周期性丢弃搜索状态,包括各智能体会话与候选历史,从当前最优候选重新开始。该方法在带通信的智能体团队中实现,并在启发式编程、内核优化和模型训练四类任务上评估,相比并行智能体最多提升 15%,相比单个智能体最多提升 39%。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载三种扩展方式都会撞墙
论文关注的是用 LLM 智能体做自动化研究。作者考察了扩展这类研究的几条路径:让一个智能体迭代更长时间、并行运行多个智能体、以及让并行智能体之间通信并基于彼此的候选方案继续推进。实验发现,这三种策略最终都会进入平台期,原因是智能体不断累积历史。每个智能体被自己过去的尝试锚定,后续做出的修改在数量和幅度上都变小。越过这个点之后,继续追加预算带来的改进非常有限。这一观察构成了论文的问题起点:瓶颈不在算力总量,而在智能体携带的历史。
遗忘作为扩展手段
作者给出的解法是遗忘。具体做法是周期性地丢弃搜索状态,其中包括每个智能体的会话以及候选历史,然后从目前找到的最优候选重新开始。这样做的效果是解开被历史锁住的搜索,让同样的预算能推进得更远。作者把遗忘机制实现在一个带通信的智能体团队中,也就是说,遗忘并不是退回到单打独斗,而是在保留智能体互相借鉴能力的前提下,定期清空各自的历史包袱。
四类任务上的量化收益
评估覆盖四类任务,横跨启发式编程、内核优化和模型训练。结果显示,采用遗忘机制后,相比并行智能体最多提升 15%,相比单个智能体最多提升 39%。作者由此提出一个判断:对于开放式发现,智能体被允许记住什么,和它被给予多少算力同样重要。这一结论把记忆策略从实现细节提升为与计算预算并列的扩展维度。
为什么值得看
揭示智能体做开放式发现时,记忆管理可能和算力投入同样关键,并给出可复用的遗忘策略与量化收益。
智能体论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
