n8n 发布教程:在 NVIDIA DGX Spark 上离线运行全套 AI …

工具AI 评分 62/100n8n Blog待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT

n8n 发布教程,介绍如何在单台 NVIDIA DGX Spark 上离线运行完整 AI 工作流。DGX Spark 配备 128GB 统一内存,由 CPU 与 GPU 共享,可同时加载多个模型。教程选用 Qwen3.6-35B-A3B 混合专家模型,总参数 35B、激活约 3B,以 NVFP4 格式经 vLLM 部署,单机实测生成速度 120 tokens/秒。所有模型通过一个兼容 OpenAI 的 LiteLLM 端点对外服务,支持按团队分配密钥,n8n 的 OpenAI 节点可直接对接,全程不调用云端 API。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

为什么要在本地跑

材料面向的是有数据驻留要求的小型机构,例如诊所、律所和会计师事务所。这些机构持有的记录受合同、监管或职业义务约束,必须留在自己控制范围内。数据一旦进入云端 API,就存放在他人的硬件上,可能位于另一个司法辖区,并受服务方随时可更改的条款约束。把模型跑在自有硬件上,数据留在本机构内,也能向审计方说明数据流向。n8n 工作流因此可以完成通话转写、发票读取、基于自有文档的问答和回复起草,而不向云端 API 发送任何字节。

选型看内存带宽

DGX Spark 的 GB10 Grace Blackwell 超级芯片内存读取速度为 273 GB/s。模型生成文本时,每产出一个 token 都要从内存读取激活权重,读取的字节越少速度越快。混合专家模型每个 token 只激活少数专家:Qwen3.6-35B-A3B 总参数 35B,激活参数约 3B。以 NVIDIA 的 4 位浮点格式 NVFP4 存储后,激活权重占用的字节远小于稠密模型。教程作者在自己的 DGX Spark 上测得该模型单路生成速度为 120 tokens/秒。教程强调应按内存带宽而非参数总量来挑选模型。

一套端点服务全部任务

教程的目标是让一台 DGX Spark 同时承载工作流所需的全部模型,并通过一个兼容 OpenAI 的端点对外提供服务,n8n 的 OpenAI 节点本身就能对接这种接口。具体做法是用 vLLM 以 NVFP4 格式部署 35B 混合专家模型,用 LiteLLM 作为统一入口并按团队分发密钥,再把 n8n 连接到这套本地栈,构建不调用云端 API 的工作流。教程还包含一项实测:当有人同时生成图片时,聊天速度会受到什么影响。作者把这一方案定位为自托管 AI 入门套件的下一步——后者只让单人在笔记本上跑本地模型,而这一方案是在办公室放一台机器,为整个团队提供每项任务对应的模型及运行代码。

为什么值得看

面向因数据合规不能上云的诊所、律所等团队,给出单机私有化部署全套 AI 工作流的具体选型与实测速度。

OpenAIQwenGPUAPI

信源1 家

  1. [1]n8n Blog线索来自 AIHOTn8n 教程:在 NVIDIA DGX Spark 上离线运行全套 AI 工作流

关键事实

  • DGX Spark 拥有 128GB 统一内存,由 CPU 和 GPU 共享[1]

  • 教程选用 Qwen3.6-35B-A3B,总参数 35B、激活约 3B[1]

  • 该模型以 NVFP4 格式通过 vLLM 部署,单机生成速度达 120 tokens/秒[1]

  • 所有模型经一个兼容 OpenAI 的 LiteLLM 端点服务,支持按团队分配密钥[1]

  • n8n 的 OpenAI 节点可直接对接该端点,工作流全程不调用云 API[1]

相关 · 工具

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。