苹果演示 Mac Studio 集群本地运行 816B 大模型
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载本地运行的前沿模型阵容
苹果在博文中列出三款可在 Mac Studio 上运行的开放权重模型，覆盖不同规模与架构。最大的是新发布的 Muse Spark Open，参数量 816B，属于混合专家（MoE）模型，推理时只激活部分专家与参数，从而降低计算量，评测采用 NVFP4 精度。另外两款是 Mistral Medium 3.5（128B）和 Qwen 3.8（27B），均为稠密架构，推理时全部参数参与计算，分别以原生 FP8 和 BF16 精度评测。这一组合说明本地硬件可承载的模型范围从数十亿到近万亿参数。
硬件代际与多机扩展
评测对比了最近发布的 M5 Ultra 与上一代 M3 Ultra。M5 代集成 GPU 神经加速器，支持专用矩阵乘法运算，这对许多机器学习负载是关键能力。单台 Mac Studio 的统一内存最高可达 512GB，为运行大模型提供内存基础。当单机内存不足时，可通过 RDMA over Thunderbolt 驱动把多台 Mac 组成集群横向扩展。博文以四台 Mac Studio 集群运行 Muse Spark Open 为例，生成速度超过每秒 36 token，高于人类平均阅读速度。
评测指标与工具
所有性能数据通过 mlx_lm.benchmark 获得，在多种上下文长度下测量三项指标：首 token 时间（TTFT，单位秒）、生成吞吐（单位 token/秒）以及峰值功耗（单位瓦）。博文举例说明，运行 Qwen 3.8 时使用 8192 token 上下文并生成 128 token。这些指标覆盖了本地推理中用户最关心的响应延迟、持续输出速度与能耗表现，便于研究者判断不同模型在 Mac Studio 上的实际可用性。
为什么值得看
在桌面级硬件上本地跑近万亿参数模型，并给出多机扩展方案与实测吞吐，对关注本地推理与私有部署的开发者有直接参考价值。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。