AI 圈大事记

DualViewEval 提出高效智能体基准压缩方法

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手

针对智能体基准评估成本高昂的问题,DualViewEval 方法通过联合利用结果和过程关系来学习最小任务集并预测完整基准分数。该方法在五个基准测试中均取得最佳结果,仅需 20 个任务即可在 APEX-Agents 和 BFCL 上实现 24 至 40 倍的压缩率。相比最强竞争对手,其平均绝对误差降低了 14.5% 至 28.2%,在 SWE-bench Verified 上的 Kendall's τ 提升了 7.2%。

为什么值得看

大幅降低智能体评估成本,提升模型迭代效率。

智能体基准测试

信源1

  1. [1]arXiv cs.AI一手信源Beyond Outcomes: Dual-View Relational Learning for Efficient Agent Benchmarking

关键事实

  • DualViewEval 联合利用结果和过程关系学习最小任务集。[1]

  • 在 APEX-Agents 和 BFCL 上实现 24 至 40 倍压缩率。[1]

  • 平均绝对误差较最强对手降低 14.5% 至 28.2%。[1]

  • 在 SWE-bench Verified 上 Kendall's τ 提升达 7.2%。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。