runpod-workers/worker-vllm

これは何？

主な機能

• 01ストリーミングに対応した、OpenAI互換のChat Completions、Models、Responses、Messagesルートを提供します。
• 02環境変数をvllm serveのフラグに変換し、YAML設定ファイルも利用できます。
• 03Hugging Faceのリポジトリ、またはイメージに組み込んだローカルパスからモデルを読み込みます。
• 04AWQ、GPTQ、bitsandbytesなどの量子化オプションと、複数GPUでのテンソル並列処理に対応します。
• 05GPUメモリ不足などの起動失敗を、クラッシュループさせずにジョブ応答で読みやすいエラーとして返します。

ユースケース

• RunpodのGPU上でオープンウェイトLLMをホストし、OpenAI互換API経由で利用する。
• base URLとAPI keyを変更して、既存のOpenAI SDKアプリケーションをセルフホストモデルに切り替える。
• アイドル時にゼロまでスケールするサーバーレスGPUで、負荷の変動が大きい推論ワークロードを実行する。

クイックスタート

1. 1

   デプロイガイドに従い、Runpod Console からビルド済みの Docker イメージをデプロイします

2. 2

   環境変数で MODEL_NAME に Hugging Face のリポジトリ ID またはローカルのモデルパスを設定します

3. 3

   モデルを組み込んだカスタムイメージをビルドします（任意）

   docker build -t username/image:tag --build-arg MODEL_NAME="openchat/openchat_3.5" --build-arg BASE_PATH="/models" .

使う前に知っておきたいこと

• !モデルの実行には、Runpod Serverless アカウントと GPU リソースが必要です。
• !アクセス制限付きまたは非公開のモデルには、Hugging Face トークン（HF_TOKEN）が必要です。
• !サポート対象のモデルは、vLLM がサポートするものに限られます。

収録されている特集

トピック

よくある質問

worker-vllm とは？

vLLM推論エンジンを使ったOpenAI互換LLMエンドポイントをデプロイする、Runpod Serverless向けワーカーテンプレート。 worker-vllmは、vLLM推論エンジンで大規模言語モデルを実行する、Runpod Serverless向けのDockerベースのワーカーです。Hugging Faceのモデルリポジトリ、またはイメージに組み込んだローカルモデルを指定し、環境変数で設定すると、ストリーミングと非ストリーミングに対応したOpenAI互換のChat Completions、Models、Responses、Messagesルートを公開します。

worker-vllm は無料で使えますか？ライセンスは？

worker-vllm は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

worker-vllm は今もメンテナンスされていますか？

活発にメンテナンス中。worker-vllm の最終コミットは 2026年11月5日 です。

worker-vllm は何に使えますか？

RunpodのGPU上でオープンウェイトLLMをホストし、OpenAI互換API経由で利用する。 base URLとAPI keyを変更して、既存のOpenAI SDKアプリケーションをセルフホストモデルに切り替える。 アイドル時にゼロまでスケールするサーバーレスGPUで、負荷の変動が大きい推論ワークロードを実行する。

worker-vllm のインストール方法は？

デプロイガイドに従い、Runpod Console からビルド済みの Docker イメージをデプロイします 環境変数で MODEL_NAME に Hugging Face のリポジトリ ID またはローカルのモデルパスを設定します モデルを組み込んだカスタムイメージをビルドします（任意）: docker build -t username/image:tag --build-arg MODEL_NAME="openchat/openchat_3.5" --build-arg BASE_PATH="/models" .

worker-vllm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/runpod-workers/worker-vllm