本地大模型怎麼選：參數量、量化（Q4 / Q8）、GGUF 與顯存怎麼對應

適用於誰

• 搜「本地大模型顯存要求」「8g 顯存本地大模型」「本地大模型顯存不夠怎麼辦」的人；
• 在 Ollama、LM Studio 裏看到 12b、Q4_K_M、GGUF 這些字樣，不知道該下哪個的人。

本文根據 LM Studio、Hugging Face、Ollama 的官方文檔和模型頁面整理，資料核對於 2026-10-11。各家都沒有發佈統一的「某顯卡能跑某模型」對照表，本文給的是判斷方法；文中的體積數字是 Ollama 模型庫頁面當天顯示的數值，僅作舉例。

結論先說

1. 先看文件體積，再看你的顯存。模型文件要整個裝進顯存（或內存）才能跑，這是最硬的約束。
2. 文件體積主要由兩件事決定：參數量（4b、12b、31b 裏的 b 是十億）和量化位數（Q4、Q8）。
3. 量化是「壓縮」：位數越低文件越小、質素損失越大。LM Studio 官方的建議是機器帶得動就選 4-bit 或更高。
4. 顯存要留餘量。除了模型本身，上下文也佔顯存，上下文設得越長佔得越多。
5. 裝不下不會報錯，只會變慢：放不進顯存的部分會落到內存裏用 CPU 算。用 ollama ps 可以直接看到比例。

三個概念

參數量：模型有多「大」

模型名後面的 e2b、12b、26b、31b 指參數量規格，b 代表十億（billion）。同一系列裏，參數量越大通常能力越強，文件也越大、對硬件要求越高。

以 Ollama 模型庫的 gemma4 頁面為例（2026-10-11 頁面顯示）：

可以看到，從小規格到大規格，體積差了四倍左右。

量化：同一個模型的不同壓縮檔

LM Studio 官方文檔的解釋很直白：Q3_K_S、Q8_0 這類名字是同一個模型在不同保真度下的拷貝；Q 代表量化（Quantization），大致就是壓縮模型文件的體積，同時放棄一部分質素。

Hugging Face 的 GGUF 文檔列出了這些類型的含義，常見的幾種：

名字末尾的 _S、_M、_L 是 llama.cpp 的命名慣例，表示同一位數下的小、中、大變體。

同一規格、不同量化的體積差別，還是用 gemma4 頁面的數字舉例：gemma4:e2b-it-q4_K_M 標註 4.6GB，gemma4:e2b-it-q8_0 標註 6.0GB。

怎麼選：按 LM Studio 的官方建議，從 4-bit 起步；顯存還有富餘再往上選 Q5、Q6、Q8。低於 4-bit 的版本只在實在裝不下時考慮。

GGUF：本地運行最常見的文件格式

Hugging Face 文檔對 GGUF 的定義是：一種為快速加載和儲存而優化的二進制格式，適合推理使用；和只存張量的 safetensors 不同，GGUF 同時儲存張量和一組標準化的元數據。Ollama、LM Studio、llama.cpp 都能直接使用 GGUF 文件。

在 Hugging Face 上找 GGUF 模型，可以按 GGUF 標籤篩選；模型頁面上還有查看器，可以看每個文件的元數據和張量資訊。

步驟：按顯存選模型

1. 確認自己有多少顯存

• Windows：任務管理器 → 性能 → GPU，看「專用 GPU 內存」；
• macOS（Apple Silicon）：顯存和內存是統一的，看「關於本機」裏的內存大小；
• NVIDIA 顯卡也可以在終端執行 nvidia-smi。

LM Studio 官方的最低建議可以作為參考線：Windows 建議至少 16GB 內存、至少 4GB 獨立顯存；Mac 建議 16GB 以上內存，8GB 的機器只適合小模型和較小的上下文。

2. 用「文件體積 < 顯存」初篩

到 Ollama 模型庫的 Tags 頁，或 LM Studio 的下載選項裏，看每個版本的體積。挑一個體積明顯小於你顯存的版本，差額就是留給上下文和系統的餘量。

這是一個經驗做法而不是官方公式：Ollama 和 LM Studio 都沒有給出「需要多少餘量」的精確數字，因為它取決於上下文長度。保守起見，先選小一檔，跑起來再看。

3. 跑起來驗證

用 Ollama 的話：

bash
ollama run gemma4:12b
# 另開一個終端
ollama ps

看 PROCESSOR 一列（含義來自 Ollama 官方 FAQ）：

• 100% GPU：完全在顯存裏，這個選擇沒問題；
• 48%/52% CPU/GPU 這種比例：一部分落到了內存，會明顯變慢，換小一檔；
• 100% CPU：完全沒用上顯卡，檢查驅動，或者模型遠超顯存。

4. 再考慮上下文長度

Ollama 官方文檔寫明，預設上下文按顯存自動選擇（不足 24 GiB 為 4k，24–48 GiB 為 32k，48 GiB 及以上為 256k），並提醒「調大上下文會增加運行模型所需的內存」。所以：

• 只是聊天問答，預設值夠用；
• 要讀長文檔、接編程工具或智能體，官方建議至少 64000，這時要為上下文多留顯存，往往需要把模型降一檔。

顯存不夠怎麼辦

按影響從小到大排：

1. 換低一檔的量化，例如 Q8 換 Q4，體積能明顯下降；
2. 換小一檔的參數量，例如 26b 換 12b；
3. 調小上下文長度；
4. 接受一部分跑在 CPU 上，能用但慢；
5. 偶爾才需要大模型的話，直接用雲端 API 更省事，沒必要為此升級硬件。

「小參數量 + 高位量化」和「大參數量 + 低位量化」哪個更好，沒有一個通用的官方結論，取決於具體模型和任務，自己用同一批問題各試一次最可靠。

常見問題

Q：沒有獨立顯卡能跑嗎？

能。模型會完全加載到內存，用 CPU 計算，速度慢很多。選參數量最小的規格，並保證內存大於模型體積。

Q：Mac 怎麼估？

Apple Silicon 的顯存就是統一內存，但系統和其他應用也要佔用，不能把全部內存都算作可用。Ollama 支持 M 系列芯片的 GPU 加速，Intel 芯片的 Mac 只能用 CPU；LM Studio 目前不支持 Intel 芯片的 Mac。

Q：模型頁面上的 128K、256K 上下文是不是一定能用滿？

那是模型支持的上限。實際能用多少取決於你的顯存和設定，以 ollama ps 的 CONTEXT 一列為準。

Q：兩塊顯卡能加起來用嗎？

Ollama 官方 FAQ 有多顯卡加載的說明：能放進單卡時優先放在一塊卡上，放不下再分到多塊卡。具體表現以官方文檔為準。

Q：有沒有官方的性能排行可以參考？

各模型的發佈方會在自己的模型卡（model card）裏給出評測結果，那是最直接的來源。本文不轉述第三方跑分。

參考資料

• LM Studio 文檔：Download an LLM（量化版本怎麼選）— https://lmstudio.ai/docs/app/basics/download-model
• LM Studio 文檔：System Requirements — https://lmstudio.ai/docs/app/system-requirements
• Hugging Face 文檔：GGUF — https://huggingface.co/docs/hub/gguf
• Ollama 文檔：Context length — https://docs.ollama.com/context-length
• Ollama 文檔：FAQ（如何判斷模型是否加載到 GPU）— https://docs.ollama.com/faq
• Ollama 模型庫：gemma4 Tags — https://ollama.com/library/gemma4/tags