vLLM 是什麼、怎麼用：高吞吐的開源大模型推理與部署框架入門

本文根據 vLLM 官方 GitHub 倉庫 README 與官方文檔整理，資料核對於 2026-10-11。開源項目變化快，以官方倉庫為準。

是什麼

vLLM 是一個用於大模型推理和服務的開源庫，倉庫 vllm-project/vllm 約有 9.35 萬星標，採用 Apache-2.0 許可。它起源於加州大學伯克利分校的 Sky Computing Lab，README 稱現在由來自眾多高校和公司的兩千多名貢獻者共同維護。

如果說 Ollama、llama.cpp 解決的是「在我自己的電腦上跑起來」，vLLM 解決的就是「在伺服器顯卡上同時服務很多人」。公司內部搭一個共享的模型服務、給應用提供穩定的模型後端，通常會用到它。

核心能力

• PagedAttention：高效管理注意力計算所需的顯存，是它高吞吐的基礎。
• 連續批處理（Continuous batching）：把不同時間到達的請求動態拼在一起推理，顯著提高顯卡利用率。
• 前綴緩存、量化、推測解碼：進一步降低延遲和成本。
• 兼容 OpenAI 的 API 服務：啟動後現有的 OpenAI 客戶端代碼改個地址就能用。
• 硬件支持：NVIDIA、AMD、Intel 的 GPU，x86、ARM、PowerPC 的 CPU，並通過硬件插件支持 Google TPU、Apple Silicon 等。

怎麼上手

準備一台帶顯卡的 Linux 機器：

bash
uv pip install vllm
vllm serve 組織名/模型名

第二條命令會從 Hugging Face 下載模型並在本機 8000 端口啟動服務，然後就可以用 OpenAI SDK 調用：

python
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
print(client.chat.completions.create(model="組織名/模型名", messages=[{"role": "user", "content": "你好"}]).choices[0].message.content)

生產部署一般使用官方 Docker 鏡像，並按文檔調整顯存佔用比例、最大上下文長度、並發數等參數。

免費與付費

框架完全免費。成本是 GPU 伺服器——自購或租用雲主機，以及運維人力。

適合誰 / 不適合誰

適合：

• 要在公司內部或自己產品裏自建模型服務的後端和算法工程師；
• 有多用戶並發需求、希望把顯卡利用率壓到最高的團隊；
• 需要部署自己微調的開源模型的場景。

不適合：

• 只想在個人電腦上和模型聊天的用戶，Ollama、LM Studio 簡單得多；
• 沒有獨立顯卡的機器；
• 不想承擔運維工作的小團隊，直接用推理雲平台的 API 更省事。

注意事項

• 顯存預設會被佔滿：vLLM 啟動時會預先佔用大部分顯存，同一張卡上要跑別的程序需要手動調低佔用比例。
• 模型格式：主要加載 Hugging Face 格式的權重，和 llama.cpp 常用的 GGUF 量化文件不是一回事。
• 對外服務要加鑑權：啟動時設定 API Key，並放在網關或反向代理之後。
• 版本與驅動匹配：CUDA、顯卡驅動和 vLLM 版本要對應，優先用官方鏡像減少環境問題。
• 模型許可證各自獨立，商用前核對。