Argo-Bench发布：专测企业级数据智能体
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从查数到动手办事
现有的文本转 SQL 评测大多只看模型能不能把一句话变成一条查询，而且已有审计发现这类基准的参考答案经常出错。真实企业数据科学工作却要在几十张表之间来回推理、做统计分析，最后还要根据结果采取行动。Argo-Bench 把评测目标从「生成查询」推进到「完成动作」：智能体需要先摸清仓库里的事实，再执行封禁欺诈账号、分配骑手激励预算、补发欠薪这类操作，评分依据是这些动作在模拟器里产生的后果，而不是答案文本是否对得上。
模拟世界的规模与构造
该框架包含 210 个数据科学与分析任务。研究者用公开数据、同行评审的行业文献以及监管申报文件，搭建了一个纽约市外卖平台的模拟环境，设定 2024 年共 8100 万笔订单，并配上有依据的经济关系、欺诈模式和市场激励结构。这个模拟世界被导出成一个企业资源计划仓库，共 235 张表、75 亿行，表结构参照 Oracle E-Business Suite 的模式。关键在于，模拟器的真实状态不会出现在智能体看到的仓库里，因此任务必须靠遍历仓库把事实重建出来，然后才能据此行动。
可解性与模型表现
每个任务都配有一份可执行的参考解法，用来证明仅凭仓库内的信息就能完成任务，这为评测提供了可解性下限。在 14 个前沿模型与开放权重模型中，表现最好的那个只在 34.8% 的任务上拿到 95 分或以上，平均分为 59.5 分。论文共 41 页，含 4 张图、18 张表，代码、数据与网站链接均已给出。对读者而言，这意味着当前模型在「看懂并操作真实数据环境」这件事上仍有明显缺口，而该基准把衡量标准从单条查询的对错，移到了动作在业务后果上的成败。
为什么值得看
突破单表查询评测局限，逼真还原百亿行级企业数仓与业务动作，揭示当前大模型在复杂业务推理上的严重不足。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。