bentoml/BentoML

これは何？

主な機能

• 01Pythonの推論コードを、型ヒントを使ってREST APIサーバーに変換します。
• 02動的バッチ処理、モデル並列化、マルチモデルパイプラインに対応します。
• 03サービスをBentoアーティファクトにパッケージ化し、Dockerイメージを生成します。
• 04DockerコンテナまたはKubernetesにデプロイできます。
• 05稼働中のサービスを呼び出すためのPython HTTPクライアントを提供します。

ユースケース

• Hugging Faceや独自のPyTorchモデルをHTTP APIの背後で提供する。
• バッチ処理とGPU活用に対応したLLM推論サービスを実行する。
• 複数のモデルを組み合わせて、1つの推論パイプラインを構成する。
• 本番環境へのデプロイに向けて、MLサービスをDockerイメージにパッケージ化する。

クイックスタート

1. 1

   pipでBentoMLをインストールします

   pip install -U bentoml
2. 2

   ローカル実行用に、サンプルの追加依存関係（PyTorchとTransformers）をインストールします

   pip install torch transformers
3. 3

   http://localhost:3000 でサービスをローカル実行します

   bentoml serve

使う前に知っておきたいこと

• !Python 3.9以降が必要です。
• !クイックスタートのサンプルでは、PyTorchやTransformersなどの大容量MLモデルをダウンロードして実行するため、依存関係が重くなります。

トピック

よくある質問

BentoML とは？

AIモデルの推論API、マルチモデルパイプライン、LLMアプリの構築・提供に使えるPythonライブラリ。DockerやKubernetesへのデプロイにも対応。 BentoMLは、AIや機械学習のモデルをオンラインで提供するシステムに変換するためのPythonライブラリです。数行のコードと標準的なPythonの型ヒントを使って、任意の推論スクリプトをREST APIとして公開できます。サービスはservice.pyファイルで定義し、環境や依存関係の設定は設定ファイルで管理します。

BentoML は無料で使えますか？ライセンスは？

BentoML は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

BentoML は今もメンテナンスされていますか？

活発にメンテナンス中。BentoML の最終コミットは 2026年10月20日 です。

BentoML は何に使えますか？

Hugging Faceや独自のPyTorchモデルをHTTP APIの背後で提供する。 バッチ処理とGPU活用に対応したLLM推論サービスを実行する。 複数のモデルを組み合わせて、1つの推論パイプラインを構成する。 本番環境へのデプロイに向けて、MLサービスをDockerイメージにパッケージ化する。

BentoML のインストール方法は？

pipでBentoMLをインストールします: pip install -U bentoml ローカル実行用に、サンプルの追加依存関係（PyTorchとTransformers）をインストールします: pip install torch transformers http://localhost:3000 でサービスをローカル実行します: bentoml serve

BentoML はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/bentoml/BentoML