AI 评测工具

Langfuse

Langfuse 是开源的 LLM 工程化平台，提供追踪、评测、提示管理与实验能力，帮助团队观测、调试并持续优化生产环境的大模型应用，支持自托管与云版。

LangSmith

LangSmith 是 LangChain 推出的智能体工程平台，提供从构建、测试、部署到监控迭代的全生命周期能力。它通过高保真 Tracing 还原 Agent 每一步执行，用 LLM-as-Judge 与评价队列把线上数据转化为测试集，帮助团队持续评估并治理生产级智能体，且框架无关，可对接任意 Agent 技术栈。

MLflow

MLflow 是由 Databricks 创建、被广泛采用的开源 MLOps 平台，覆盖实验跟踪、模型注册、模型部署与评估的全生命周期，框架无关，避免厂商锁定。

Braintrust

Braintrust 是面向生产级 AI 的可观测与评测（evals）平台，帮助团队用代码/LLM-as-judge/人工三种方式定义评分、在 CI 中跑回归、监控生产 trace 并持续迭代；2023 年由 Ankur Goyal 创立，2026 年 2 月完成 8000 万美元 B 轮（ICONIQ 领投），客户含 Notion、Stripe、Replit、Cloudflare。

Modulate

Modulate 是波士顿音频 AI 初创公司，用 100+ 专用小模型组成的 Ensemble Listening Model 架构，直接分析音频原始信号而非文本转写，实现情感识别、意图判断、Deepfake 检测与对话行为分析，月处理超 1000 万小时音频。

Vantage

Vantage 是免费开源的 CLI 工具，为 Claude Code、Codex、Copilot CLI 等编码 Agent 提供实时成本监控、配额预警、敏感信息拦截与会话回放，所有数据本地存储，零遥测上报。