研究质疑工具图记忆作用:增益多来自额外计算

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇投稿于 arXiv 的论文重新审视多轮工具调用中的工具图记忆机制。作者在九个模型、两个基准上评测后发现,该组件相比基线很少带来显著提升,即便有增益,其 LLM 调用次数也超过两倍。记忆给出的引导常常不正确,而随机引导或不给引导仍能保留大部分增益,说明收益来自额外计算而非记忆本身。即使正确提示了下一个工具,仍存在不少失败,例如不调用工具就放弃。把同样的经验改存为文本洞察,在几乎不增加调用的情况下表现更好,说明记忆更适合作为软性先验而非对下一步工具的硬性规定。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

被质疑的记忆组件

多轮工具调用是 LLM 智能体完成复杂任务的常见方式,此前有工作提出用工具图记忆把过往经验存成工具之间的转移关系,用来指导后续的工具选择。这篇论文要回答的问题是:这个组件是否稳定地改善智能体的工具使用,还是反而拖累它。作者没有停留在单一设置上,而是在九个模型和两个基准上做了评测,结论指向后者——工具图记忆相对基线很少出现显著提升。

增益来自算力而非记忆

论文给出的关键观察是成本与收益的错配:即便某些设置下出现了增益,其代价是 LLM 调用次数超过两倍。更值得注意的是对照实验的结果——记忆给出的引导经常是错的,而把引导换成随机的、或者干脆不给引导,大部分增益依然保留。这意味着提升并非来自记忆内容本身,而是来自多出来的那部分计算。这一发现直接动摇了「工具图记忆提供有效先验」的假设。

提示正确也仍会失败

论文还检查了失败模式:即使系统已经正确给出了下一个应当调用的工具,任务仍然会失败,其中一种表现是不做任何工具调用就直接放弃。这说明瓶颈不只在工具选择这一环,把正确的下一步工具当作规定强加给模型,并不能保证任务推进。对做智能体工程的读者来说,这提示评测与调试需要区分「选错工具」和「拿到正确工具却不用」两类问题。

文本洞察的替代方案

论文给出的替代做法是把同样的经验改存为文本形式的洞察,而不是存成工具转移图。这一方式在几乎不增加 LLM 调用的前提下超过了工具图记忆。作者由此提出,记忆更适合充当软性先验,而不是对下一个工具的规定,这样得到的方案更有效也更易泛化。对正在搭建工具调用记忆的团队,这提供了一个成本更低、实现更简单的对照方向。

为什么值得看

对做 Agent 工具调用的人直接相关:工具图记忆可能白花两倍调用量,换成文本经验更划算。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Rethinking the Role of Tool Graph Memory in Multi-Turn Tool Use

关键事实

  • 论文在九个模型和两个基准上评测工具图记忆[1]

  • 该组件相比基线很少显著提升,有增益时 LLM 调用超过两倍[1]

  • 随机引导或不给引导仍保留大部分增益,说明收益来自额外计算[1]

  • 把经验存为文本洞察优于工具图记忆,且几乎不增加 LLM 调用[1]

  • 即使正确提示下一个工具,仍存在不调用工具就放弃等失败[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。