注册

llm-d 1.0 发布，Kubernetes 原生分布式推理进入生产就绪

工具AI 评分 82/100IBM Research：AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT

在 PyTorch Conference North America 上，llm-d 项目贡献者宣布 llm-d 1.0 发布。该项目是 Kubernetes 原生的分布式推理服务网络，目标是在任意云、任意加速器上部署任意模型的推理栈。1.0 意味着项目从单项性能技术演示转向支撑生产环境：稳定 API、多租户共享同一基础设施并处理相互竞争的优先级、升级不中断运行。项目由 Red Hat、IBM、Google 担任主要维护者，并与 CoreWeave、NVIDIA 共同发起，AMD、Cisco、Hugging Face、Intel、Lambda、Mistral AI 等作为贡献者加入。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

1.0 补上的是运维成熟度

llm-d 1.0 的定位变化在于从展示单项推理性能技术，转为支撑生产环境的日常运行。IBM Research 杰出工程师、项目联合发起人与主要维护者 Carlos Costa 描述，1.0 增加的是把推理当作关键服务来运营的能力：稳定的 API、多个租户带着相互竞争的优先级共用同一套基础设施，以及不打断业务运行的升级流程。这三点对应企业把推理栈纳入既有运维体系的常见门槛，也是项目自称“day 2 operations”就绪的依据。

五种推理优化被组织成系统

项目启动以来围绕五类方法改进推理：前缀缓存感知路由，把请求导向可能已持有其共享上下文的基础设施；KV 缓存卸载，让缓存信息在 GPU、CPU 与存储之间迁移以延长可用寿命；批推理优化，把工作分组以便基础设施更高效处理；预填充与解码分离，将两个阶段拆开处理。1.0 的意义在于把这些技术协调成一套企业可规模化运营的系统，而非各自独立的性能演示。

厂商中立与社区构成

llm-d 由 Red Hat、IBM、Google 担任主要维护者，三家去年与 CoreWeave、NVIDIA 共同发起项目；AMD、Cisco、Hugging Face、Intel、Lambda、Mistral AI 等陆续以贡献者身份加入，社区覆盖硬件提供商、模型开发者、云平台与企业用户。项目希望提供厂商中立的选择，让组织在不完全依赖某一家专有模型提供方、云或硬件平台的前提下获得前沿推理性能。随着推理成本上升，项目也把模型部署收回自建、让 AI 投入产生回报作为目标场景。

为什么值得看

关注开源推理栈能否替代单一厂商绑定：稳定 API、多租户与不中断升级是上生产的关键门槛。

GoogleMistralHugging FaceAPI

信源1 家

  1. [1]IBM Research：AI线索来自 AIHOTllm-d 1.0 发布：Kubernetes 原生分布式推理服务走向生产就绪

关键事实

  • llm-d 1.0 在 PyTorch Conference North America 上宣布发布[1]

  • llm-d 是 Kubernetes 原生的分布式推理服务网络，支持任意模型、任意加速器、任意云[1]

  • 1.0 带来稳定 API、多租户竞争优先级共享基础设施、升级不中断运行[1]

  • Red Hat、IBM、Google 是主要维护者，与 CoreWeave、NVIDIA 共同发起项目[1]

  • AMD、Cisco、Hugging Face、Intel、Lambda、Mistral AI 等以贡献者身份加入[1]

相关 · 工具

小米开源AI桌搭硬件HachimoDock，自制成本约150元

11月2日 周一·AI 78

TypeSafe AI与Treg开源找人工具，比Clay便宜85%

11月1日 周日·AI 78

DeepSeek开源Super-agent架构，AI可自主发现Bug并提交PR

10月31日 周六·AI 82

OpenRouter 发布教程：用 Agent SDK 搭建常驻 AI Age…

10月31日 周六·AI 62

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论