研究提出轻量级框架评估代码智能体组件
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载固定执行循环拆组件
这项研究把编码智能体的运行框架拆成可单独替换的部分来观察。作者构建了一个轻量级框架，其执行循环保持固定，只让三个环节发生变化：规划、动作空间与上下文管理。评测覆盖四个模型，在 SWE-Bench Verified 与 Terminal-Bench 2.1 两个基准上展开，共形成 176 组匹配设置，涉及五种上下文管理策略、四档上下文窗口预算，以及对规划和动作空间的针对性消融。这样做的目的是把以往被当作整体评估的框架拆到组件层面，看清每个部件各自贡献了什么。研究团队还从轨迹层面解释差异：上下文管理拉长了执行轨迹，却基本不改变智能体的行为方式；规划影响轨迹在何处终止；动作空间则改变代码被写出的粒度。
预算收紧时上下文管理最值钱
上下文管理策略的价值随上下文窗口预算收紧而上升，其收益的主要来源是避免因上下文溢出而导致的失败。在五种策略的比较中，先做基于规则的删减、再做基于大模型的摘要，这一组合在整体效率上表现最强。相反，让被删减的内容可以恢复，会引入额外的机制，而模型很少真正去调用它，准确率也没有因此提升。这意味着在预算有限时，优先保证轨迹不因溢出而中断，比提供复杂的回溯能力更划算。对使用方而言，选择上下文方案时应先看窗口预算的宽紧，再决定是否叠加恢复类功能。
规划从提分转为省钱
规划组件的作用随模型能力而变化。对能力较弱的模型，规划更像是一种准确率支撑，帮助其把任务推进下去；对能力更强的模型，规划主要带来成本节省，准确率变化不大。轨迹分析给出的解释是，规划改变的是轨迹在何处停止，而不是改变智能体每一步的行为方式。这一发现指向按模型能力配置框架的思路：弱模型需要更多结构化引导，强模型则可以把规划当作控制开销的手段。
工具接口按 bash 熟练度取舍
动作空间方面，预定义工具能提升 bash 熟练度较弱的模型的表现；而对本身擅长 bash 的模型，仅提供 bash 接口即可有效工作，成本明显更低，在以命令行为主的任务上尤其如此。这说明工具集并非越多越好，接口形态应与模型的实际能力匹配。整体来看，这些结果支持按模型与预算来设计框架，并提供了一个可对后续组件做模块化评估的框架。对读者而言，评估编码智能体时把框架拆开逐项对比，比只看整体分数更能指导选型与调优。
为什么值得看
揭示了代码智能体各组件的实际效能差异，为构建高效智能体提供了设计指南。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。