vllm-project/vllm

これは何？

主な機能

• 01KV cacheのメモリを効率的に管理するPagedAttention
• 02Continuous batching、chunked prefill、prefix caching
• 03FP8、INT4、GPTQ、AWQ、GGUFなど、幅広い量子化形式に対応
• 04構造化出力とtool callingに対応したOpenAI互換APIサーバー
• 05マルチGPU推論向けのtensor、pipeline、expert、context parallelism
• 06NVIDIA、AMD、IntelのGPUとCPUに加え、TPUなどのハードウェアプラグインをサポート

ユースケース

• LlamaやQwenなどのオープンウェイトLLMを、OpenAI互換エンドポイントで提供する
• マルチGPUサーバーで高スループットのバッチ推論を実行する
• DeepSeek-V3やGPT-OSSなどの量子化MoEモデルをデプロイする
• 1つのベースモデルから複数のLoRAファインチューニングモデルを提供する

クイックスタート

1. 1

   uvでvLLMをインストール（推奨）

   uv pip install vllm
2. 2

   起動を高速化するため、コンパイル済みカーネルをダウンロード

   vllm download-kernels

使う前に知っておきたいこと

• !性能を最大限に引き出すには、GPUまたは対応アクセラレーターが必要です。
• !モデルの重みと依存関係のサイズが大きいため、軽量ツールよりセットアップに時間がかかります。

トピック

よくある質問

vllm とは？

OpenAI互換APIで大規模言語モデルを実行・提供する、高速でメモリ効率に優れたライブラリ兼サーバー。 vLLMは、LLMの推論とサービングのためのライブラリです。PagedAttentionでattentionのkey-valueメモリを管理し、届いたリクエストを継続的にバッチ化することで、低コストで高いスループットを実現します。dense、mixture-of-experts、マルチモーダル、embeddingなど、多くのHugging Faceモデルアーキテクチャを読み込めます。

vllm は無料で使えますか？ライセンスは？

vllm は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

vllm は今もメンテナンスされていますか？

活発にメンテナンス中。vllm の最終コミットは 2026年10月20日 です。

vllm は何に使えますか？

LlamaやQwenなどのオープンウェイトLLMを、OpenAI互換エンドポイントで提供する マルチGPUサーバーで高スループットのバッチ推論を実行する DeepSeek-V3やGPT-OSSなどの量子化MoEモデルをデプロイする 1つのベースモデルから複数のLoRAファインチューニングモデルを提供する

vllm のインストール方法は？

uvでvLLMをインストール（推奨）: uv pip install vllm 起動を高速化するため、コンパイル済みカーネルをダウンロード: vllm download-kernels

vllm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/vllm-project/vllm