用缓存轨迹降低智能体评测成本：单任务即可预测基准分数
论文AI 评分 68/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出用缓存轨迹做任务高效的智能体评测。做法是用 LLM 从每次执行轨迹中抽取结构化摘要，再用标准文本编码器把摘要转成向量，从而保留正确性与任务相关信号，同时压低系统身份、模型家族和评测框架带来的干扰。基于参考系统的低维表示，新系统只需执行少量任务，就能按其在参考系统中的位置预测整体得分。在 SWE-bench Verified 上，单次随机执行任务时，把该几何预测加入项目反应模型，平均绝对误差从 0.13 降到 0.08；在 Terminal-Bench 2.0 上从 0.14 降到 0.12。给定全部参考系统时，该方法在任意执行任务数下都优于基线。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载轨迹表示的设计
常规高效评测只利用参考系统执行结果的二值正确性，忽略了智能体每次执行产生的完整轨迹。作者的做法是先用 LLM 对轨迹做结构化摘要，再用通用文本编码器把摘要转成向量。这样得到的表示保留了与正确性和任务相关的信息，同时削弱了原始轨迹嵌入中占主导的系统身份、模型家族与评测框架信号，避免预测时被“这是谁跑的”而非“跑得怎样”带偏。
预测方式与实验设置
在获得各参考系统在每个任务上的表示后，作者构建系统的低维几何表示，再把新系统放进这一空间中，依据其相对参考系统的位置预测得分。评测在 SWE-bench Verified 与 Terminal-Bench 2.0 两个基准上进行，指标为平均绝对误差，并与项目反应模型结合使用。实验关注的核心场景是只执行少量任务时能否逼近完整基准的结果。
误差下降幅度
只提供一次随机执行任务时，SWE-bench Verified 上的平均绝对误差由 0.13 降到 0.08，Terminal-Bench 2.0 上由 0.14 降到 0.12，两项差异分别达到 Wilcoxon 检验 p<10^-4 与 p<10^-3 的显著性水平。当可以使用全部参考系统时，该方法在任意给定执行任务数量下都优于对比基线，说明轨迹信息在少任务条件下补充了仅靠正确性无法提供的信号。
为什么值得看
评测智能体通常成本高昂；该工作说明轨迹摘要可用于少量任务预测整体分数，对做 agent 评测的人有直接参考价值。
智能体论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。