关于 Braintrust
为生产级 AI 而生的质量基础设施
Braintrust 由 Ankur Goyal 于 2023 年创立——他此前创立的 Impira 被 Figma 收购，并在 Figma、MemSQL 负责机器学习工程。Braintrust 正源于他在多段工作中反复从零搭建内部评测工具的切身体会。
平台把评测（evals）作为一等公民：团队定义数据集与评分函数（代码、LLM-as-judge 或人工评审），在 CI 或临时实验中对照提示词与模型变体运行，结果版本化，发布前就能看到质量是否回归。
2026 年 2 月，Braintrust 完成 8000 万美元 B 轮（由 ICONIQ 领投，a16z、Greylock、Elad Gil 等跟投），估值约 8 亿美元；Notion、Stripe、Replit、Cloudflare、Ramp、Dropbox、Vercel 等团队均已采用。
核心功能一览
六大核心能力，覆盖创作全流程
评测框架
用代码/LLM裁判/人工三种评分，把凭感觉测试变成可复现的 CI 流程。
提示词与数据集版本
提示词与数据集自动版本化，变更可一键对比与回滚。
生产 Trace 监控
实时记录 prompt、response、工具调用、延迟与成本，跨百万日志检索。
CI 回归门禁
在发布流水线中自动跑评测，阻断质量回退再上线。
Loop 与 MCP
Loop 智能体自动优化提示词与评分；MCP Server 让编码智能体直连 AI 栈。
零基础快速上手
4 步完成你的第一件 AI 作品，无需任何设计经验
接入 SDK
用 Python/TypeScript 等 SDK 几行代码开始记录首个 trace。
定义数据集与评分
准备评测输入，编写代码或 LLM-as-judge 评分函数。
跑评测对比
在 CI 或临时实验中对照不同提示词/模型，查看指标 diff。
接生产闭环
把生产 trace 一键转成评测数据集，持续发现并修复回归。
常见问题解答
遇到问题？这里可能有你想要的答案
Braintrust 和 LangSmith 有什么区别？
两者都做 LLM 可观测，但 Braintrust 把评测（evals）作为一等工作流，更贴近用单元测试/CI 思维管理 AI 质量；LangSmith 更偏链路追踪与调试。
小团队需要 Braintrust 吗？
一旦 AI 功能进入生产、需要持续保证质量与防止回归，评测基础设施就不可或缺；早期原型阶段可用开源 Langfuse 先起步。
与同类 LLM 可观测对比
和同类工具横向对比，帮你选对工具。
| 对比维度 | Braintrust | LangSmith | Langfuse | Weights & Biases |
|---|---|---|---|---|
| 核心定位 | 评测优先 | 链路追踪 | 开源追踪 | 实验管理 |
| 评测工作流 | 一等公民 | 支持 | 支持 | 支持 |
| 开源 | SDK 开源 | 部分 | 完全开源 | 部分 |
| 适用团队 | 工程+产品 | LangChain 用户 | 自托管偏好 | ML 研究 |
同类推荐工具
发现更多优质 AI 创作工具，找到最适合你的那一款
Langfuse
Langfuse 是开源的 LLM 工程化平台，提供追踪、评测、提示管理与实验能力，帮助团队观测、调试并持续优化生产环境的大模型应用，支持自托管与云版。
LangSmith
LangSmith 是 LangChain 推出的智能体工程平台，提供从构建、测试、部署到监控迭代的全生命周期能力。它通 过高保真 Tracing 还原 Agent 每一步执行，用 LLM-as-Judge 与评价队列把线上数据转化为测试集，帮助团队持续评估并治理生产级智能体，且框架无关，可对接任意 Agent 技术栈。
MLflow
MLflow 是由 Databricks 创建、被广泛采用的开源 MLOps 平台，覆盖实验跟踪、模型注册、模型部署与评估的全生命周期，框架无关，避免厂商锁定。
Modulate
Modulate 是波士顿音频 AI 初创公司，用 100+ 专用小模型组成的 Ensemble Listening Model 架构，直接分析音频原始信号而非文本转写，实现情感识别、意图判断、Deepfake 检测与对话行为分析，月处理超 1000 万小时音频。