bentoml/OpenLLM

これは何？

主な機能

• 01オープンソースLLMをOpenAI互換APIとして提供します。
• 02単一の`openllm serve`コマンドでモデルサーバーを起動します。
• 03/chatで利用できる組み込みチャットUIを備えています。
• 04`openllm run`でターミナルからチャットを開始できます。
• 05カスタムの公開リポジトリを含むモデルリポジトリに対応しています。
• 06モデルをBentoにパッケージ化し、DockerやKubernetesにデプロイできます。

ユースケース

• LlamaやQwenのモデルをローカルでホストし、OpenAI形式のAPIを通じて既存アプリから利用する。
• クライアントコードを変更せずに、OpenAI SDKのコードでオープンソースモデルを試す。
• BentoMLでパッケージ化したカスタムモデルやファインチューニング済みモデルを、DockerやKubernetesにデプロイする。

クイックスタート

1. 1

   pipでOpenLLMをインストールする

   pip install openllm
2. 2

   OpenLLMを対話形式で試す

   openllm hello
3. 3

   アクセス制限付きモデル用にHugging Faceのトークンを設定する

   export HF_TOKEN=<your token>
4. 4

   モデルを指定してLLMサーバーを起動する

   openllm serve llama3.2:1b

使う前に知っておきたいこと

• !Llamaなどのアクセス制限付きモデルには、Hugging Faceのトークンとアクセス承認が必要です。
• !大規模モデルには多くのGPUメモリが必要です。たとえば、一部のモデルでは80GのGPUが必要です。

収録されている特集

トピック

よくある質問

OpenLLM とは？

LlamaやQwenなどのオープンソースLLMを、組み込みのチャットUI付きで、単一コマンドからOpenAI互換APIとして提供します。 OpenLLMは、オープンソースの大規模言語モデルをセルフホストするためのPythonツールです。`openllm serve llama3.2:1b`のようなコマンドでモデルを起動すると、localhostのポート3000でOpenAI互換APIが公開されます。そのため、既存のOpenAIクライアントコードやLlamaIndexなどのツールは、ベースURLを変更するだけで接続できます。

OpenLLM は無料で使えますか？ライセンスは？

OpenLLM は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

OpenLLM は今もメンテナンスされていますか？

活発にメンテナンス中。OpenLLM の最終コミットは 2026年11月2日 です。

OpenLLM は何に使えますか？

LlamaやQwenのモデルをローカルでホストし、OpenAI形式のAPIを通じて既存アプリから利用する。 クライアントコードを変更せずに、OpenAI SDKのコードでオープンソースモデルを試す。 BentoMLでパッケージ化したカスタムモデルやファインチューニング済みモデルを、DockerやKubernetesにデプロイする。

OpenLLM のインストール方法は？

pipでOpenLLMをインストールする: pip install openllm OpenLLMを対話形式で試す: openllm hello アクセス制限付きモデル用にHugging Faceのトークンを設定する: export HF_TOKEN=<your token> モデルを指定してLLMサーバーを起動する: openllm serve llama3.2:1b

OpenLLM はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/bentoml/OpenLLM