Artificial Analysis 发布 NVIDIA Vera Rubi…

论文AI 评分 72/100Artificial Analysis 完整文章(网页)待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT

Artificial Analysis 公布了针对 NVIDIA Vera Rubin NVL72 的首批 AA-AgentPerf 智能体推理评测。该评测以每兆瓦加速器功耗对应的服务器总吞吐量为指标,统计输入与输出 token 的每秒处理量,其中输入 token 计入 KV-cache 命中,输出速度不计首 token 时间,并对照每请求 p25 输出速度呈现结果。材料中出现的对比对象为 DeepSeek V4 Pro 0813(max)。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

评测对象与指标

Artificial Analysis 此次公布的是 NVIDIA Vera Rubin NVL72 的首批 AA-AgentPerf 智能体推理评测。评测采用的衡量方式是把服务器总吞吐量除以加速器功耗,得到每兆瓦对应的每秒 token 处理量,其中 token 同时包含输入与输出两部分。这一口径把能耗直接放进分母,使不同配置之间的比较落在单位电力能产出多少推理量上,而不是只看绝对吞吐。

输入输出如何计数

在计数规则上,输入 token 会把 KV-cache 命中一并算入,也就是说缓存复用带来的输入处理同样计入吞吐;输出速度则排除首 token 时间,只反映生成阶段的速率。横轴使用每请求 p25 输出速度,即关注较慢一侧请求的输出表现,而非平均值。材料中出现的对比对象为 DeepSeek V4 Pro 0813(max)。

为什么值得看

首次把智能体推理的能效与输出速度放在同一坐标下衡量,关注推理成本与部署效率的读者可据此判断硬件与模型的匹配度。

DeepSeek智能体

信源1 家

  1. [1]Artificial Analysis 完整文章(网页)线索来自 AIHOTArtificial Analysis 发布 NVIDIA Vera Rubin NVL72 首批 AA-AgentPerf 智能体推理评测

关键事实

  • Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 的首批 AA-AgentPerf 智能体推理评测[1]

  • 评测指标为每兆瓦加速器功耗对应的服务器总吞吐量,即每秒输入加输出 token 数[1]

  • 输入 token 统计包含 KV-cache 命中,输出速度不计算首 token 时间[1]

  • 横轴为每请求 p25 输出速度,材料中出现的对比对象是 DeepSeek V4 Pro 0813(max)[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。