BentoML
把任意模型稳稳送上生产
BentoML 把模型加载、批处理、队列、多模型编排与弹性伸缩抽象成可组合原语，让团队以 10 倍速度交付 AI 系统。
免费试用 · 无需下载即可在线体验
为生产推理而生的服务框架
BentoML
BentoML 是一个 Python 库，用于构建面向 AI 应用与模型推理优化的在线服务系统。它屏蔽了「如何高效跑模型推理」与「推理负载如何对接云基础设施」的细节，为团队提供标准的预测服务定义接口，可服务任意模型格式、运行时与自定义 Python 代码。
在最新定位中，BentoML 是「统一推理平台（Unified Inference Platform）」：既能用开源框架在本地快速起服务，也能通过 BentoCloud 把推理基础设施带入任意云端，借助快速 GPU 自动伸缩、极小冷启动与完整可观测性，帮助 AI 团队在自有云中高效、低成本地扩展。
核心功能一览
六大核心能力，覆盖创作全流程
任意模型服务
支持 PyTorch、TensorFlow、Keras、XGBoost、Scikit-Learn、ONNX 等主流框架开箱即用。
自适应批处理
在线推理按需聚合请求批次，在延迟与吞吐之间自动取得最优平衡。
多模型编排
在一个服务内组合多个模型与端点，支撑 RAG、Agent、语音通话等复合应用。
分布式与多 GPU
提供并发、自动伸缩、模型并行与多 GPU 推理能力，并暴露 Prometheus 指标。
一键云端部署
bentoml deploy 一条命令把服务推上 BentoCloud 或自有 Kubernetes 集群。
零基础快速上手
4 步完成你的第一件 AI 作品，无需任何设计经验
安装 BentoML
用 pip install bentoml（建议 Python 3.9+）安装开源模型服务框架。
定义 Service
用 @svc.api 装饰器声明输入输出与处理逻辑，把模型与预处理/后处理代码打包。
本地起服务
bentoml serve 启动本地推理服务，自动生成 Swagger / OpenAPI 规格。
部署到生产
bentoml deploy 一键发布至 BentoCloud 或导出到 Docker / Kubernetes。
常见问题解答
遇到问题？这里可能有你想要的答案
BentoML 和 vLLM 怎么选？
若业务以大语言模型高吞吐推理为主，vLLM 更专精；若需要服务任意框架模型、做多模型编排与完整 AI 应用，BentoML 更通用，且可把 vLLM 作为后端之一。
BentoML 现在归谁维护？
BentoML 已并入 Modular，与 Mojo、MAX 同属统一高性能 AI 推理技术栈，开源版本仍以 Apache 2.0 协议在 GitHub 持续维护。
与主流推理服务框架对比
和同类工具横向对比，帮你选对工具。
| 对比维度 | BentoML | vLLM | TorchServe |
|---|---|---|---|
| 定位 | 统一推理平台（多框架） | LLM 高吞吐推理引擎 | PyTorch 官方服务组件 |
| 模型覆盖 | 任意框架/运行时 | 以 LLM 为主 | 以 PyTorch 模型为主 |
| 部署形态 | 本地 + BentoCloud + K8s | 自托管服务 | 自托管服务 |
| 典型场景 | 复合 AI 应用/多模型编排 | 大模型批量推理 | PyTorch 模型上线 |
同类推荐工具
发现更多优质 AI 创作工具，找到最适合你的那一款
AI21 Labs
AI21 Labs 是 2017 年成立的独立基础模型公司，主打 Jamba 系列开源权重大模型——采用 Mamba-Transformer 混合架构、支持 256K 上下文，并以 Maestro 编排平台服务金融、医疗等受监管行业。
阿里云百炼
阿里云百炼（Model Studio）是一站式大模型开发平台，集成通义千问全 系列与 DeepSeek、Kimi、智谱 GLM 等三方模型，提供模型推理、微调（SFT/CPT/DPO）、部署、Agent 开发、RAG 知识库与 MCP 注册能力，并兼容 OpenAI 接口。
Anyscale
Anyscale 是 Ray 原创团队创立的托管式 AI 计算平台，为分布式模型训练、批量推理、RAG 管线、智能体编排与强化学习后训练提供生产级基础设施。基于 Ray 这一被 OpenAI、Uber、Shopify 等广泛使用的开源分布式引擎，支持多云（AWS / GCP / Azure 等）与 Bring-Your-Own-Cloud，按用量计费，新用户赠 $100 额度。
Apache Airflow
Apache 顶级开源项目，用 Python 代码定义有向无环图（DAG）来编排批处理工作流，拥有 1500+ 算子与庞大生态，是数据管道调度领域的事实标准。