llama.cpp 是什麼、怎麼用：本地運行 GGUF 大模型的開源推理引擎，llama-server 自帶網頁介面

本文根據 llama.cpp 官方 GitHub 倉庫 README 整理，資料核對於 2026-10-11。開源項目變化快，以官方倉庫為準。

是什麼

llama.cpp 是一個用 C/C++ 實現的大模型推理項目，倉庫 ggml-org/llama.cpp 約有 13.07 萬星標，採用 MIT 許可，構建在 ggml 張量庫之上。README 對它的描述只有一句：「LLM inference in C/C++」。

它的地位可以這樣理解：Ollama、LM Studio、Jan、GPT4All 這些本地模型軟件，底層很多都在用它或它的衍生實現。直接用 llama.cpp 的好處是最新、最輕、參數最全；代價是要自己敲命令。

核心概念

• GGUF：llama.cpp 使用的模型文件格式。在 Hugging Face 上看到文件名以 .gguf 結尾的模型，就是給它（以及兼容它的軟件）用的。
• 量化：把模型權重從高精度壓縮到 1.5 到 8 比特不等。常見的 4 比特量化能把體積和內存佔用降到原來的幾分之一，質素損失有限——這是「筆記本也能跑大模型」的關鍵。
• 硬件後端：支持 CUDA（NVIDIA）、HIP（AMD）、Metal（Apple）、Vulkan、SYCL、OpenCL、WebGPU 等，沒有顯卡也能用 CPU 跑。

主要工具

• llama-cli：命令行對話工具，可以直接從 Hugging Face 拉取模型運行。
• llama-server：一個輕量的 HTTP 服務，提供兼容 OpenAI 的 API，並自帶網頁聊天介面——很多人在找的「llama.cpp 前端」，其實裝好就有。

怎麼上手

1. 安裝：README 提供了安裝腳本（curl 或 PowerShell）、Docker 鏡像、Releases 頁的預編譯包，也可以從源碼編譯。新手建議直接下載對應系統和顯卡的預編譯包。
2. 啟動服務並加載一個模型（從 Hugging Face 自動下載）：

bash
llama-server -hf 組織名/模型倉庫名-GGUF

1. 瀏覽器打開 http://localhost:8080，就能在自帶的網頁介面裏對話。
2. 其他程序把 OpenAI 接口地址指向 http://localhost:8080/v1 即可調用。

模型怎麼選：先看自己顯存或內存有多大，選量化後文件體積小於可用顯存的版本；不確定時從 4 比特量化（文件名裏帶 Q4）的小模型試起。

免費與付費

完全免費開源，沒有任何付費版本。成本只有硬件、電費和下載模型的流量。

適合誰 / 不適合誰

適合：

• 想用最少的依賴在本地或伺服器上跑模型的開發者；
• 需要精細控制上下文長度、GPU 層數、採樣參數的進階用戶；
• 在樹莓派、舊電腦、無顯卡伺服器等受限環境裏部署模型的人。

不適合：

• 不想碰命令行的用戶——選 LM Studio、Jan 這類圖形介面軟件；
• 想「一條命令自動管理模型」的人，Ollama 更省心；
• 需要高並發、多顯卡服務大量用戶的生產環境，vLLM 這類服務框架更合適。

注意事項

• 更新非常快：命令行參數時有變化，老教學裏的可執行文件名（如早期的 main）已經改掉，以當前 README 為準。
• 下載對版本：預編譯包分 CPU、CUDA、Vulkan 等多種，下錯了要麼跑不起來，要麼用不上顯卡。
• 模型許可證獨立於軟件：llama.cpp 是 MIT，但每個模型有自己的許可，商用前逐個核對。
• 服務不要直接暴露到公網：需要遠程訪問時加上 API Key 參數和反向代理。