DualViewEval 提出高效智能体基准压缩方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载压缩评测的出发点
智能体基准的评测开销明显高于常规大模型基准，因此对基准做压缩是一种自然的思路。论文指出，已有压缩方法主要刻画任务与模型最终得分分布上的冗余，而这一视角在智能体评测中虽然重要，却并不完整。为补上这一层，作者分析大规模轨迹，找出六个与智能体最终表现存在系统性关联的过程信号，并据此提出 DualViewEval。该方法同时利用结果关系与过程关系，学习一个规模精确的最小任务集合，并据此预测全基准上的得分。
双视角如何建模
DualViewEval 的核心是把智能体表现中的冗余从结果与过程两个角度拆开处理。结果视角沿用最终得分分布上的关系，过程视角则引入从轨迹中提炼的六个过程信号，使被选出的任务子集不仅覆盖得分层面的差异，也覆盖执行过程层面的差异。方法的目标是得到一个规模精确的最小集合，即任务数量被固定下来，再通过关系学习预测完整基准的分数。这样选出的最小集合还能反映不同智能体之间的能力差异，为智能体模型的开发提供紧凑且具诊断性的反馈。
实验覆盖与对比结果
论文在五个智能体基准和五个代表性基线上做了对比，DualViewEval 在所有数据集上都取得最好结果。在 APEX-Agents 与 BFCL 上，仅使用 20 个任务即可实现 24 倍至 40 倍的压缩，同时平均绝对误差相对最强竞争者有所下降。在 SWE-bench Verified 上，与 EssenceBench 相比，Kendall τ 也有提升。这些结果说明，在任务数量被大幅削减的情况下，全基准得分的预测精度和排序一致性仍能保持甚至改善，压缩后的评测可以承担接近完整基准的判断功能。
适用范围与使用限制
从材料看，该方法的适用前提是能够获得智能体执行轨迹，因为六个过程信号来自对大规模轨迹的分析；若只有最终得分而缺少过程记录，过程视角的关系学习便无从展开。实验覆盖的是五个智能体基准，压缩倍数的具体表现因基准而异，材料给出的 24 倍至 40 倍对应 APEX-Agents 与 BFCL，20 个任务是这两个基准上的设定。对使用方而言，这意味着可以用更少的任务获得接近全基准的分数预测，并把最小集合当作观察不同智能体能力差异的窗口；但预测值仍是估计，其误差水平需结合具体基准判断。
为什么值得看
大幅降低智能体评估成本，提升模型迭代效率。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。