vLLM发布vllm-metal v0.28.0，Apple Silicon支…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载调度与执行的分工
vllm-metal 的定位是把 vLLM 的服务层搬到 Apple Silicon 上，而把模型计算交给 MLX 与 Metal。具体分工是：上游 vLLM 提供 V1 调度器、分页 KV 块管理、分块预填充、采样，以及带流式输出和工具调用解析的 OpenAI 兼容前端；mlx_lm 提供模型实现，MLX 负责执行。在模型层面，权重加载、RMSNorm、线性层、MoE 与 MLP 这些层被原样复用，因为它们对每个 token 独立处理，可以在打包后的 token 轴上运行而不需要知道请求边界。注意力则必须知道边界，所以原有的注意力实现被替换成分页 varlen 的 Metal 内核。这样一来，插件里与具体模型相关的代码基本集中在一个层里，改动面被压得很窄。
从单机推理到并发服务
在 Mac 上做本地推理，单个请求时并不复杂；一旦多个请求重叠，首 token 延迟、内存增长和准入控制就变成了服务问题，而不再是模型执行问题。vllm-metal 正是针对这一转折点：它把调度、分页 KV 缓存和 OpenAI 兼容服务器带到 Apple Silicon。首个正式版本 v0.28.0 把自身的版本编号与上游 vLLM 对齐，并引入批量多 token 预测、GGUF 与混合模型支持，以及在 M5 上更快的预填充。安装方面，v0.29.0 可通过 Homebrew 获取；运行环境要求 macOS 15 或更高版本，Homebrew 同时管理 Python 与相关依赖。启动后服务遵循 OpenAI API，任何接受 OpenAI 兼容 base URL 的客户端都可以指向本地地址，编码类代理工具也在其中。
内存预算与请求排队
内存守卫允许通过 --gpu-memory-utilization 设定推理预算，为 macOS 本身和其他应用留出余量。与上游 vLLM 类似，启动时会跑一次预热，把模型权重、激活值和临时缓冲区计入开销，再把剩余预算分配给固定的 KV 缓存。同时，MLX 的可复用缓冲区缓存被设置了上限，避免服务过程中内存持续累积。放不进 KV 池的请求不会被执行，而是等待页面释放后再进入。这一机制把内存占用变成可预期的量，代价是并发上限由预算直接决定：预算设得小，排队就会更早出现。
打包查询与分页注意力的差异
在 mlx_lm 的填充式批处理中，注意力查询的形状带有最大序列长度这一维，批次内较短的请求需要被补齐，补齐部分并不承载真实内容。vllm-metal 改用打包的 token 轴来组织查询，配合分页 varlen 的 Metal 内核，让注意力按请求边界取值，而不是按补齐后的统一长度计算。这一改动与前述分层复用相配合：不依赖边界的层继续走打包路径，依赖边界的注意力单独处理。对使用者的直接含义是，同一套 OpenAI 接口的调用方式可以落在本地 Apple Silicon 上，而并发行为、首 token 延迟和内存曲线由调度器与 KV 池共同决定，不再只取决于模型本身跑得多快。
为什么值得看
解决Mac多请求并发时TTFT变长与内存失控痛点，让Apple Silicon能跑生产级推理服务。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。