Repolode
投稿する
ai-dynamo

ai-dynamo/dynamo

複数のGPUやノードにわたってvLLM、SGLang、TensorRT-LLMを統合する、データセンター規模の分散推論サービングフレームワーク。

GitHub で見る公式サイト
スター
8,382
フォーク
1,755
未解決の Issue
2,142
最終コミット
6 時間前

これは何？

Dynamoは、vLLM、SGLang、TensorRT-LLMなどの推論エンジンを置き換えるのではなく、その上位で動作するオーケストレーション層です。GPUクラスターを連携して動作する推論システムに変え、prefillとdecodeの分離、KVキャッシュを考慮したリクエストルーティング、複数階層へのKVキャッシュのオフロード、SLAに基づくオートスケーリングを担います。

コアランタイムはRustで実装されており、拡張にはPythonを使用します。OpenAI互換のHTTPフロントエンドを提供し、ビルド済みコンテナからの実行、PyPIからのインストール、またはモデルをゼロ設定でデプロイするためのカスタムリソースを使ったKubernetesへのデプロイが可能です。

単一GPU上の単一エンジンでは対応しきれなくなったLLM、推論、マルチモーダル、動画生成のワークロードを対象としています。

主な機能

  • 01独立してスケーリング可能なGPUプールでprefillとdecodeを分離
  • 02KVを考慮したルーティングにより、重複するprefill計算を削減
  • 03GPU、CPU、SSD、リモートストレージ間でKVキャッシュをオフロード
  • 04レイテンシ目標に合わせてレプリカを自動スケーリングするSLAベースのプランナー
  • 05OpenAI互換のAPIフロントエンド
  • 06SGLang、TensorRT-LLM、vLLMのバックエンドに対応

ユースケース

  • Kubernetesクラスター内の複数のGPUやノードにまたがる大規模モデルのサービング
  • プロンプトのプレフィックスを共有するワークロードで、最初のトークンが生成されるまでの時間を短縮
  • 各フェーズに適したハードウェアを割り当てるため、prefillとdecodeのプールを分けて実行
  • エンコードを分離した構成で、マルチモーダルモデルや動画生成モデルをデプロイ

クイックスタート

  1. 1

    ビルド済みの vLLM ランタイムコンテナを pull する

    docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime:
  2. 2

    README のクイックスタートで SGLang または vLLM を選び、手順に従う

使う前に知っておきたいこと

  • マルチ GPU・マルチノードのデータセンター環境向けです。単一 GPU で単一モデルを実行する場合は、通常、推論エンジン単体のほうが適しています。
  • DGDR のゼロ設定デプロイや SGLang の KVBM など、一部の機能はベータ版または部分的な対応です。
  • メタデータではライセンスが NOASSERTION と記載されています。使用前にリポジトリのライセンス条項を確認してください。

収録されている特集

LLM をローカルで動かすGPU で AI を学習・実行するツールマイクロサービスのフレームワークとサービス基盤

トピック

#llm-inference#distributed-systems#kubernetes#disaggregated-serving#kv-cache#gpu#vllm#rust#diffusion#omni

よくある質問

dynamo とは？
複数のGPUやノードにわたってvLLM、SGLang、TensorRT-LLMを統合する、データセンター規模の分散推論サービングフレームワーク。 Dynamoは、vLLM、SGLang、TensorRT-LLMなどの推論エンジンを置き換えるのではなく、その上位で動作するオーケストレーション層です。GPUクラスターを連携して動作する推論システムに変え、prefillとdecodeの分離、KVキャッシュを考慮したリクエストルーティング、複数階層へのKVキャッシュのオフロード、SLAに基づくオートスケーリングを担います。
dynamo は無料で使えますか？ライセンスは？
dynamo は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
dynamo は今もメンテナンスされていますか？
活発にメンテナンス中。dynamo の最終コミットは 2026年10月24日 です。
dynamo は何に使えますか？
Kubernetesクラスター内の複数のGPUやノードにまたがる大規模モデルのサービング プロンプトのプレフィックスを共有するワークロードで、最初のトークンが生成されるまでの時間を短縮 各フェーズに適したハードウェアを割り当てるため、prefillとdecodeのプールを分けて実行 エンコードを分離した構成で、マルチモーダルモデルや動画生成モデルをデプロイ
dynamo のインストール方法は？
ビルド済みの vLLM ランタイムコンテナを pull する: docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime: README のクイックスタートで SGLang または vLLM を選び、手順に従う
dynamo はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/ai-dynamo/dynamo

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト