promptfoo 是什麼、怎麼用：評測提示詞與大模型應用、做紅隊測試的開源工具

本文根據 promptfoo 官方 GitHub 倉庫 README 整理，資料核對於 2026-10-11。開源項目變化快，以官方倉庫為準。

是什麼

promptfoo 的自我介紹是：用於評測和紅隊測試大模型應用的命令行工具與庫。改了一句提示詞之後，效果到底是變好還是變差？換一個更便宜的模型，哪些用例會翻車？憑感覺試幾條是靠不住的，promptfoo 讓你把測試用例寫成配置文件，一條命令跑完所有組合並給出對比結果。README 寫明 promptfoo 現在是 OpenAI 的一部分，同時保持開源和 MIT 許可。倉庫約有 2.59 萬星標。

能做什麼

README 列出的功能：

• 自動化評測：對提示詞和模型做批量評測。
• 並排比較模型：OpenAI、Anthropic、Azure、Bedrock、Ollama 等。
• 紅隊測試與漏洞掃描：自動生成對抗性輸入，檢查應用在安全方面的薄弱點。
• CI/CD 集成：把評測作為自動檢查，提示詞或代碼變動時自動運行。
• 代碼掃描：在 Pull Request 中掃描與大模型相關的安全和合規問題。
• 本地運行：評測在你自己的機器上執行，README 強調提示詞不會離開本機（調用雲端模型時，請求仍會發給對應廠商）。

怎麼上手

README 給出的快速開始：

bash
npm install -g promptfoo
promptfoo init --example getting-started
export OPENAI_API_KEY=sk-abc123
cd getting-started
promptfoo eval
promptfoo view

也可以用 brew install promptfoo、pip install promptfoo，或者不安裝直接 npx promptfoo@latest。

promptfoo eval 運行配置文件裏定義的全部用例，promptfoo view 打開網頁介面查看每個用例在不同提示詞、不同模型下的輸出與評分。配置文件的寫法見官方文檔。

免費與付費

開源版本免費（MIT 許可）。運行評測時調用各家模型會產生 API 費用，用例多、模型多時要留意總量。面向企業的託管與協作服務以官網為準。

適合誰 / 不適合誰

適合： 維護線上大模型應用、需要回歸測試的工程團隊；想系統比較不同模型性價比的開發者；負責 AI 應用安全評估的人員。

不適合： 只在聊天介面裏使用 AI 的普通用戶；還沒有明確測試用例、處於想法階段的項目；不熟悉命令行和配置文件的人。

注意事項

• 評測結論取決於測試用例的質素，用例要覆蓋真實用戶的輸入而不是隻測理想情況。
• 紅隊測試只應針對自己擁有或已獲授權的系統。
• 用大模型給輸出打分時，評分本身也會出錯，關鍵指標要人工抽查。