Braintrust 是什麼、怎麼用、價格多少：AI 應用的評測、追蹤與提示詞實驗平台

本文根據 Braintrust 官網定價頁整理，資料核對於 2026-10-11。功能與價格以官網為準。

是什麼

Braintrust 是 Braintrust Data, Inc. 的產品，定價頁的描述是：為你的 AI 技術棧提供追蹤、評測和存儲的基礎設施。它圍繞三個動作組織——Observe（觀察線上發生了什麼）、Evaluate（評測改動是變好還是變差）、Discover（從數據裏發現系統的行為模式）。在同類工具裏，Braintrust 以「評測優先」著稱：鼓勵團隊像寫單元測試一樣為 AI 功能維護評測集。

能做什麼

定價頁列出的功能：

• 追蹤（Observe）：記錄線上請求的完整過程。
• 評測（Evaluate）與實驗：用數據集跑評測，對比不同提示詞、模型和代碼版本的得分。
• 數據集：沉澱測試樣例，可從線上追蹤記錄中挑選加入。
• Playground：並排試驗提示詞與模型，支持標註。
• 人工評審：讓人來打分，與自動評分互補。
• Loop 智能體：自動運行評測、生成測試用例並迭代提示詞。
• 自定義圖表、多環境、基於角色的權限：Pro 及以上提供。

怎麼上手

1. 在 braintrust.dev 註冊，Starter 檔免費且不限用戶數。
2. 按官方文檔安裝 SDK，在應用裏加上追蹤。
3. 從線上記錄裏挑二三十條有代表性的樣例，建成數據集。
4. 定義評分方式（規則判斷或讓大模型打分），跑第一次評測作為基線。
5. 之後每次改提示詞或換模型，都先跑評測再上線。

免費與付費

定價頁（美元，2026-10 查詢）：

適合誰 / 不適合誰

適合： 已有 AI 功能上線、需要建立評測流程的產品與工程團隊；多人協作調提示詞、需要統一實驗記錄的小組；想從免費檔起步的初創公司。

不適合： 數據不能出內網又沒有企業版預算的團隊（可看能自託管的方案）；只是個人玩票調用模型的場景；還沒有明確質素標準的早期原型。

注意事項

• 數據處理量和評分次數超出後按量收費，長上下文應用的數據量增長很快。
• 免費檔數據只保留 14 天，需要長期對比的評測結果及時導出。
• 評測集要隨真實用戶問題持續更新，否則分數會與實際體驗脫節。