本文根據官方 GitHub 倉庫 oobabooga/textgen 的 README 整理,資料核對於 2026-10-11。開源項目變化快,以官方倉庫為準。
是什麼
很多教學裏說的「oobabooga」「text-generation-webui」「TGW」都是同一個項目。它的 GitHub 倉庫現在名為 oobabooga/textgen(約 4.77 萬星標,AGPL-3.0 許可),舊地址會跳轉到新倉庫。README 把它描述為一款運行本地大模型的開源桌面應用,強調「100% 私密」、沒有遙測。
它在本地模型圈子裏的定位類似 Stable Diffusion WebUI 之於 AI 繪畫:功能最全、可調參數最多的「瑞士軍刀」,尤其受喜歡折騰模型、寫長篇故事和角色對話的用戶歡迎。
能做什麼
- 三種對話模式:chat、instruct、chat-instruct,適配不同類型的模型和玩法。
- Notebook 標籤頁:不走對話格式的自由續寫,適合寫作。
- 多種後端:llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3、TensorRT-LLM,可以加載 GGUF、原始權重、EXL3 等格式。
- 多模態與附件:圖片輸入(視覺模型)、文本 / PDF / docx 附件。
- 圖像生成:用 diffusers 模型出圖。
- LoRA 訓練:在介面裏微調模型。
- 工具調用:支持 MCP 伺服器。
- 擴展機制:安裝社區擴展增加功能。
- API:兼容 OpenAI 和 Anthropic 風格的 Chat、Completions、Messages 接口。
怎麼上手
README 提供了幾種安裝方式,按省事程度排序:
- 便攜版(Portable builds):Linux、Windows、macOS 都有,下載解壓後直接運行,不需要配置 Python 環境——新手首選,主要用於 GGUF 模型。
- 一鍵安裝腳本:克隆倉庫後運行對應系統的啟動腳本,自動創建環境並安裝依賴,可使用全部後端。
- 手動 venv / Conda / Docker:給需要自定義環境的用戶。
啟動後在瀏覽器打開提示的本地地址,進入 Model 標籤頁下載或選擇模型並加載,再回到 Chat 標籤頁開始對話。
免費與付費
完全免費開源,沒有付費版。花費只在硬件上。
適合誰 / 不適合誰
適合:
- 想嘗試各種模型格式和加載方式的本地模型玩家;
- 需要細調採樣參數、提示模板的進階用戶和小說、角色扮演創作者;
- 想在本地做 LoRA 微調實驗的學習者。
不適合:
- 只想「下載就能聊」的新手,LM Studio、Jan 更直觀;
- 沒有獨立顯卡且內存較小的電腦;
- 需要多用戶帳號體系和權限管理的團隊場景,應看 Open WebUI。
注意事項
- 改名後的教學差異:以 text-generation-webui 為名的老教學,在啟動腳本名、目錄結構和後端選項上可能與現在不同。
- 後端與模型格式要匹配:GGUF 用 llama.cpp,EXL3 用 ExLlamaV3,選錯會加載失敗。
- 擴展會執行代碼:只裝可信來源的擴展。
- AGPL 許可:修改後對外提供網絡服務,需要按 AGPL-3.0 公開對應源碼。
- 模型內容與許可自負:下載的社區模型質素和許可參差不齊,使用前看模型頁說明。
0 條評論
還沒有評論,來搶沙發~