研究揭示LLM智能体计划与执行存在偏差,引入路由机制大幅提升成功率

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

当前LLM智能体在解决长程任务时,常无法忠实执行其声明的计划结构。在三个基准测试中,通用Plan+ReAct仅有22%至45%的轨迹能保持原定结构。为此,研究者提出Planning-as-Routing方法,让LLM声明四种规划模式之一,再由确定性路由分派给对应的专属执行器。结果显示,专属执行器将ALFWorld任务成功率从0.48提升至0.92,SWE-bench Verified从0.36升至0.44。不同环境与模型下最优模式各异,当前LLM仍难可靠选出最强模式,但少样本示例可改善部分组合的选择效果。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把规划声明与执行拆开

这项研究关注的是大语言模型智能体在长周期任务中的表现。以往的做法通常是让模型先生成一份计划,再在环境中逐步执行。但研究者指出,规划成功其实包含两种不同的能力:一是为任务挑到合适的计划,二是忠实地把这份计划执行下去。已有的规划器与执行器组合可能在任一环节出错,而仅看任务最终是否完成,无法判断问题出在挑选阶段还是执行阶段。为此,作者提出研究“计划声明—执行落差”,并设计了一种称为“规划即路由”的机制。在该机制下,模型需要先声明四种规划模式中的一种,分别是预定义、顺序、分层与搜索,随后由一个确定性的路由器把任务分派给与该模式对应的专用执行器。这样就把“选模式”和“按模式执行”两个环节分开考察。

声明结构常被通用执行器破坏

研究在四个基准和三个大语言模型上展开,得到三个较为一致的观察。第一个观察与执行保真度有关:通用的“计划加 ReAct”方式往往无法保持模型所声明的规划结构,计划越长越明显。在三个基准上,只有约两成到四成多的轨迹保留了原本声明的结构,而模式专用执行器则能强制维持预期的结构。第二个观察是规划模式的效果会随环境和模型变化:在 ALFWorld 上搜索模式表现最好,在 SWE-bench 上分层模式表现最好,即便在同一基准内,最强的模式也可能因模型不同而不同。第三个观察是收益主要来自执行环节:相比“计划加 ReAct”,模式专用执行器把 ALFWorld 上的任务成功率从 0.48 提升到 0.92,把 SWE-bench Verified 上的成功率从 0.36 提升到 0.44。

选模式仍是未解难题

尽管路由机制在缩小执行落差方面效果明显,但研究也指出当前模型并不能可靠地为每个任务挑出最强的规划模式。也就是说,模型在“声明”环节的判断力仍有限。不过,少样本示例在某些基准与模型的组合下能改善模式选择的效果。整体来看,作者认为可靠的智能体规划需要同时具备有效的模式选择与忠实的执行:路由在很大程度上补上了执行这一环,而针对具体任务的模式选择依然是一个开放问题。论文共 51 页,含 8 幅图,提交于 2026 年 9 月 29 日,作者为 Subba Reddy Oota、Francisco Herrera、Jordi Cabot Sagrera、Marcos López de Prado 与 Shadab Khan。

为什么值得看

揭示智能体规划与执行脱节问题,专属执行器使成功率最高翻倍,对构建可靠智能体架构具直接参考价值。

智能体基准测试

信源1 家

  1. [1]arXiv cs.AI一手信源Do LLM Agents Execute the Plans They Declare? From Planning-Mode Declaration to Pattern-Specific Execution

关键事实

  • 通用Plan+ReAct在三个基准测试中仅有22%至45%的轨迹能保持声明的计划结构[1]

  • 专属执行器将ALFWorld任务成功率从0.48提升至0.92,SWE-bench Verified从0.36升至0.44[1]

  • 研究提出Planning-as-Routing,由LLM声明四种规划模式并由确定性路由分派给专属执行器[1]

  • 不同环境与模型下最优规划模式各异,当前LLM难以可靠选出最强模式[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。