n8n 发布教程:在 NVIDIA DGX Spark 上离线运行全套 AI …
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载为什么要在本地跑
材料面向的是有数据驻留要求的小型机构,例如诊所、律所和会计师事务所。这些机构持有的记录受合同、监管或职业义务约束,必须留在自己控制范围内。数据一旦进入云端 API,就存放在他人的硬件上,可能位于另一个司法辖区,并受服务方随时可更改的条款约束。把模型跑在自有硬件上,数据留在本机构内,也能向审计方说明数据流向。n8n 工作流因此可以完成通话转写、发票读取、基于自有文档的问答和回复起草,而不向云端 API 发送任何字节。
选型看内存带宽
DGX Spark 的 GB10 Grace Blackwell 超级芯片内存读取速度为 273 GB/s。模型生成文本时,每产出一个 token 都要从内存读取激活权重,读取的字节越少速度越快。混合专家模型每个 token 只激活少数专家:Qwen3.6-35B-A3B 总参数 35B,激活参数约 3B。以 NVIDIA 的 4 位浮点格式 NVFP4 存储后,激活权重占用的字节远小于稠密模型。教程作者在自己的 DGX Spark 上测得该模型单路生成速度为 120 tokens/秒。教程强调应按内存带宽而非参数总量来挑选模型。
一套端点服务全部任务
教程的目标是让一台 DGX Spark 同时承载工作流所需的全部模型,并通过一个兼容 OpenAI 的端点对外提供服务,n8n 的 OpenAI 节点本身就能对接这种接口。具体做法是用 vLLM 以 NVFP4 格式部署 35B 混合专家模型,用 LiteLLM 作为统一入口并按团队分发密钥,再把 n8n 连接到这套本地栈,构建不调用云端 API 的工作流。教程还包含一项实测:当有人同时生成图片时,聊天速度会受到什么影响。作者把这一方案定位为自托管 AI 入门套件的下一步——后者只让单人在笔记本上跑本地模型,而这一方案是在办公室放一台机器,为整个团队提供每项任务对应的模型及运行代码。
为什么值得看
面向因数据合规不能上云的诊所、律所等团队,给出单机私有化部署全套 AI 工作流的具体选型与实测速度。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
