bentoml/BentoML

这是什么？

核心功能

• 01通过 Python 类型注解把推理代码转换为 REST API 服务。
• 02支持动态批处理、模型并行和多模型流水线。
• 03将服务打包为 Bento 部署产物，并自动生成 Docker 镜像。
• 04可部署到 Docker 容器或 Kubernetes。
• 05提供 Python HTTP 客户端用于调用运行中的服务。

适用场景

• 将 Hugging Face 或自定义 PyTorch 模型封装为 HTTP API。
• 搭建支持批处理和 GPU 利用的 LLM 推理服务。
• 把多个模型组合成一条推理流水线。
• 将机器学习服务打包为 Docker 镜像用于生产部署。

快速上手

1. 1

   使用 pip 安装 BentoML

   pip install -U bentoml
2. 2

   安装示例所需的额外依赖（PyTorch 和 Transformers）

   pip install torch transformers
3. 3

   在本地运行服务，地址为 http://localhost:3000

   bentoml serve

使用前须知

• !需要 Python 3.9 或更高版本。
• !快速入门示例需要安装并运行 PyTorch 和 Transformers 等体积较大的机器学习依赖。

标签

常见问题

BentoML 是什么？

用于构建和部署 AI 模型推理 API、多模型流水线和 LLM 应用的 Python 库，支持 Docker 与 Kubernetes 部署。 BentoML 是一个 Python 库，用于把 AI 和机器学习模型变成在线推理服务。只需几行代码和标准的 Python 类型注解，就能把任意模型推理脚本暴露为 REST API。服务在 service.py 中定义，运行环境和依赖通过配置文件统一管理。

BentoML 可以免费使用吗？用的什么许可证？

BentoML 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

BentoML 还在维护吗？

活跃维护中。BentoML 最近一次提交是在 2026年10月20日。

BentoML 适合用来做什么？

将 Hugging Face 或自定义 PyTorch 模型封装为 HTTP API。 搭建支持批处理和 GPU 利用的 LLM 推理服务。 把多个模型组合成一条推理流水线。 将机器学习服务打包为 Docker 镜像用于生产部署。

BentoML 怎么安装和运行？

使用 pip 安装 BentoML: pip install -U bentoml 安装示例所需的额外依赖（PyTorch 和 Transformers）: pip install torch transformers 在本地运行服务，地址为 http://localhost:3000: bentoml serve

在哪里获取 BentoML？

源代码和安装说明在 GitHub 上：https://github.com/bentoml/BentoML