论文提出评估框架，衡量智能体失败该归咎模型还是执行框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题设定
论文的出发点是：LLM 智能体由模型和执行框架两部分组成，因此智能体基准上的成绩反映的是两者共同作用的结果，不能单独归给模型。作者主张，评估框架时必须把它与底层模型的交互一并纳入，而不是只看框架自身的抽象能力。为此论文构建了一套由五项互补指标组成的评估框架，分别覆盖执行可靠性、框架与模型的适配程度、跨模型的通用适配性、组件级汇总所掩盖的配对特异性，以及包含失败尝试在内的 Token 消耗。
指标含义
五项指标各有分工。有效完成率（VCR）衡量智能体能否正常结束并交出可评估结果，不涉及任务是否正确；模型-框架匹配度衡量某个框架在给定模型下通过有效完成来支撑任务达成的程度；跨模型匹配度则看框架在被评估的多个模型上的整体适用性；交互残差用于捕捉被组件级汇总掩盖的、特定模型-框架配对独有的执行强弱项；Token 负载统计智能体执行所需的 token 量，失败尝试也计入其中。这套设计把「跑完」与「跑对」分开，也把单次配对的特性与框架的整体水平分开。
实验规模与发现
实验选取四个通用框架（OpenCode、Codex CLI、Pi CLI、DeepAgents）搭配四个核心模型，另加两个固定的原生模型-框架系统作为参照，在六项基准上测试，覆盖上下文管理、工具使用、长上下文规划、多模态交互和产物交接。计入原生参照与压力条件后，共 111 种评估设置、52168 条轨迹。结果显示，框架排名会随模型和基准变化；任务表现与有效完成率可能指向不同的配对；任务得分相近时，执行画像也可能明显不同。跨模型表现上 OpenCode 居首，DeepSeek V4 Flash Preview 在共享的四项基准面板上对各个框架都保持较高的平均 VCR。
结论指向
基于上述结果，作者提出三点方向：评估应聚焦模型与框架的交互而非单方面打分；模型侧可以训练可迁移的框架使用能力；框架设计应针对具体模型与任务做适配。论文标注为预印本、正在审稿中，属于 cs.AI，同时交叉列出 cs.CL 与 cs.SE。
为什么值得看
智能体评测常把模型与框架混为一谈，这套指标把两者的贡献拆开，做智能体选型和框架开发的人可以直接参考。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。