谷歌开源Harness²,让模型运行时自改脚手架
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载两层递归怎么分工
Harness²的名字里的平方指两层互相嵌套的循环。第一层是任务级递归,面对新任务先用初始脚手架跑出参考轨迹,不看结果对错,而是看模型在哪一步暴露缺陷。随后由编辑角色提出两套修改方案,一套针对跨领域通用毛病,如规划混乱、工具调用死循环、上下文膨胀;另一套针对当前业务的特定知识与约束。两套候选脚手架放回同一任务分别执行,系统把它们的执行轨迹与参考轨迹做行为对比,判断改动是否解决了卡住的步骤、是否引入新的逻辑退化,再由合成器把被证据支持的改动合并进最终脚手架。该层还支持并行扩展,一次铺开多个候选并发探测。
经验库如何沉淀
第二层是改进级递归,解决的是任务交付后经验流失的问题。当前任务完成后,参考轨迹、候选修改、对比证据与合成决策会一并交给反思模块复盘,产出一份记录改动原因、生效条件与后果的文档,存入持续改进经验库。下一个新任务进来时,执行端拿到的仍是干净的基础脚手架,但负责改脚手架的改进环节可以检索历史相似场景下的有效组件与避坑指南。这样改进的不只是眼前这套脚手架,还包括未来改进脚手架的能力,单次任务的临时修补因此变成可复用的认知资产。
基准上的具体数字
团队在三个职业基准上测试:覆盖代码、网页、办公套件工作流的WorkBuddy-Bench,长程端到端岗位任务的JobBench,以及法律智能体基准LAB。底座模型为Gemini 3.5 Flash与GLM-5,执行脚手架选OpenCode与Codex。仅做单步改进时,GLM-5在OpenCode下从64.2升到75.7,在Codex下从64.4升到75.3;Gemini 3.5 Flash在两种脚手架下分别从72.4和74.5升到77.5。改过脚手架的GLM-5得分高于未改脚手架的Gemini 3.5 Flash。JobBench上Gemini 3.5 Flash提升4.5分、GLM-5提升3.6分;LAB上GLM-5部分通过率提高11.8个百分点。把并行预算加到5路候选后,三个基准仍有进一步上涨。
为什么值得看
把脚手架改进从一次性调参变成可积累的经验资产,并给出跨模型、跨基准的量化提升,值得关注Agent自我改进的落地路径。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
