EricLBuehler/candle-vllm

これは何？

主な機能

• 01ストリーミング応答に対応したOpenAI互換APIサーバー
• 02continuous batching、prefix caching、CUDA Graphに対応
• 03長いコンテキスト向けのTurboQuantおよびFP8 KV cacheオプション
• 04複数GPUでのtensor parallelismとTCPベースのマルチノード推論
• 05GGUF、safetensors、GPTQ、AWQ、Marlin、FP8/FP4のモデル形式に対応
• 06ChatGPT風のWeb UIとMCP tool callingを内蔵

ユースケース

• 自前のGPUサーバーでオープンウェイトLLMを稼働させ、OpenAI互換エンドポイント経由で提供する
• Metalアクセラレーションを使い、Apple Silicon搭載Macで量子化済みGGUFモデルを実行する
• 大規模モデルを複数のGPUまたはマシンに分散して実行する
• コーディングエージェントなどのOpenAI APIクライアントをセルフホストモデルに接続する

クイックスタート

1. 1

   1行のインストールスクリプトでインストール（DEBまたはバイナリ）

2. 2

   または cargo でソースからビルド（CUDA ビルドの例）

   cargo install --features cuda,nccl,flashinfer,cutlass --path .
3. 3

   組み込みの Web UI で HuggingFace モデルを実行

   candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server

使う前に知っておきたいこと

• !CUDA（Linux）と Metal（macOS）のみをサポートしています。
• !マルチGPUで実行する場合、GPUの台数は2の累乗である必要があります。
• !FP8モデルや一部のカーネルなど、特定の機能はNVIDIA GPUの特定のアーキテクチャ（SM70+またはSM90+）に依存します。

収録されている特集

トピック

よくある質問

candle-vllm とは？

Rust製のローカルLLM実行・サービング基盤。OpenAI互換APIサーバーとWeb UIを内蔵。 Candle-vLLMは、Candleフレームワークを基盤とするRust製のローカル大規模言語モデル向け推論・サービング基盤です。OpenAI互換APIサーバーを提供するため、OpenAIプロトコルに対応した既存のクライアントから、ローカルでホストしたモデルに接続できます。必要に応じて、ChatGPT風のWeb UIもAPIと合わせて起動できます。

candle-vllm は無料で使えますか？ライセンスは？

candle-vllm は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

candle-vllm は今もメンテナンスされていますか？

活発にメンテナンス中。candle-vllm の最終コミットは 2026年10月18日 です。

candle-vllm は何に使えますか？

自前のGPUサーバーでオープンウェイトLLMを稼働させ、OpenAI互換エンドポイント経由で提供する Metalアクセラレーションを使い、Apple Silicon搭載Macで量子化済みGGUFモデルを実行する 大規模モデルを複数のGPUまたはマシンに分散して実行する コーディングエージェントなどのOpenAI APIクライアントをセルフホストモデルに接続する

candle-vllm のインストール方法は？

1行のインストールスクリプトでインストール（DEBまたはバイナリ） または cargo でソースからビルド（CUDA ビルドの例）: cargo install --features cuda,nccl,flashinfer,cutlass --path . 組み込みの Web UI で HuggingFace モデルを実行: candle-vllm --m Qwen/Qwen3.6-27B-FP8 --ui-server

candle-vllm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/EricLBuehler/candle-vllm