Braintrust 是什么、怎么用、价格多少：AI 应用的评测、追踪与提示词实验平台

本文根据 Braintrust 官网定价页整理，资料核对于 2026-10-11。功能与价格以官网为准。

是什么

Braintrust 是 Braintrust Data, Inc. 的产品，定价页的描述是：为你的 AI 技术栈提供追踪、评测和存储的基础设施。它围绕三个动作组织——Observe（观察线上发生了什么）、Evaluate（评测改动是变好还是变差）、Discover（从数据里发现系统的行为模式）。在同类工具里，Braintrust 以「评测优先」著称：鼓励团队像写单元测试一样为 AI 功能维护评测集。

能做什么

定价页列出的功能：

• 追踪（Observe）：记录线上请求的完整过程。
• 评测（Evaluate）与实验：用数据集跑评测，对比不同提示词、模型和代码版本的得分。
• 数据集：沉淀测试样例，可从线上追踪记录中挑选加入。
• Playground：并排试验提示词与模型，支持标注。
• 人工评审：让人来打分，与自动评分互补。
• Loop 智能体：自动运行评测、生成测试用例并迭代提示词。
• 自定义图表、多环境、基于角色的权限：Pro 及以上提供。

怎么上手

1. 在 braintrust.dev 注册，Starter 档免费且不限用户数。
2. 按官方文档安装 SDK，在应用里加上追踪。
3. 从线上记录里挑二三十条有代表性的样例，建成数据集。
4. 定义评分方式（规则判断或让大模型打分），跑第一次评测作为基线。
5. 之后每次改提示词或换模型，都先跑评测再上线。

免费与付费

定价页（美元，2026-10 查询）：

适合谁 / 不适合谁

适合： 已有 AI 功能上线、需要建立评测流程的产品与工程团队；多人协作调提示词、需要统一实验记录的小组；想从免费档起步的初创公司。

不适合： 数据不能出内网又没有企业版预算的团队（可看能自托管的方案）；只是个人玩票调用模型的场景；还没有明确质量标准的早期原型。

注意事项

• 数据处理量和评分次数超出后按量收费，长上下文应用的数据量增长很快。
• 免费档数据只保留 14 天，需要长期对比的评测结果及时导出。
• 评测集要随真实用户问题持续更新，否则分数会与实际体验脱节。