Artificial Analysis开源本地AI智能体推理测试工具
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载回放真实智能体轨迹
这套工具的核心做法是重放已经录制好的智能体会话，而不是临时生成请求。默认负载包含 8 个录制下来的智能体任务，合计 168 个模型轮次。每一次请求都会带上此前完整的对话内容，这一点与真实智能体运行时的行为一致，因此上下文会逐步增长到约 56K tokens。每个轮次生成的 token 数量严格等于录制时的数量，从而保证不同系统执行的工作量完全相同，结果之间具备可比性。默认情况下会跳过工具执行环节，目的是把推理速度单独隔离出来观察；如果测试的是自己的机器，也可以选择回放录制好的工具延迟，或者直接在 CPU 上实时运行工具调用。当前阶段关注的是单个智能体在能够占用整台系统资源时能达到的性能，后续计划把覆盖范围扩展到多智能体系统，以及智能体需要与常规进程并行运行的场景。
首批覆盖的硬件组合
官方页面首批列出的硬件包括 NVIDIA DGX Spark（128 GB）、AMD Ryzen AI Halo（128 GB）、MacBook Pro M5 Pro（64 GB）以及 NVIDIA GeForce RTX 5090（32 GB）。挑选这些平台的原因在于它们覆盖了多种软件栈与硬件特征：CUDA、ROCm、Vulkan、Metal 都有涉及，显存容量从 32 GB 到 128 GB 不等，内存带宽也各不相同。这样的组合让读者可以在不同平台之间对照，判断哪一类配置更适合自己的智能体负载。工具与榜单后续会继续扩充，纳入更多硬件、框架和模型，并随着新版本发布保持更新。官方也提到，接下来会把重点硬件扩展到 x86 笔记本以及其他类型的设备。
开源代码与自测方式
除了在榜单上展示常见模型与硬件组合的结果，这套工具的代码和运行所需数据全部开源，个人和公司都可以自行开展测试，为本地 AI 服务方案的选择提供依据。此前该团队的推理性能测试已经覆盖手机端和数据中心级别的硬件，现在把范围延伸到笔记本与工作站。对读者来说，这意味着不必依赖他人给出的单一结论，而是可以在自己实际使用的机器上复现同样的负载，得到与榜单口径一致的对比数据。需要留意的是，当前默认配置跳过了工具执行，且只衡量单智能体独占整机时的表现，因此结果反映的是推理速度本身，而非包含工具等待或多任务争抢资源的完整端到端体验。
为什么值得看
提供标准化的本地智能体推理评测基准，帮助开发者在端侧硬件选型时量化真实智能体工作负载下的性能表现。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。