Repolode
投稿する
sgl-project

sgl-project/sglang

SGLangは、多様なGPU、TPU、CPU環境で大規模言語モデル、ビジョン言語モデル、拡散モデルを提供するオープンソース推論フレームワークです。

GitHub で見る公式サイト
スター
37,472
フォーク
9,720
未解決の Issue
5,965
最終コミット
8 時間前

これは何？

SGLangは、大規模言語モデル、ビジョン言語モデル、拡散モデル向けのサービングフレームワークです。エージェント型ワークロード、大規模なオンラインサービング、強化学習向けのロールアウト生成を想定しています。Dockerイメージを使うか、uvでインストールしたPythonパッケージを使ってモデルを起動できます。

NVIDIAのRTXコンシューマー向けカードからB200クラスのデータセンター向けチップ、AMD Instinct GPU、Google TPU、Intel Arc GPUとXeon CPU、MetalとMLXを介したApple Silicon、Huawei Ascend NPUまで、幅広いハードウェアに対応しています。組み込みのSGLang Diffusionを使うと、同じパッケージで画像と動画を生成できます。

コアエンジンに加えて、投機的デコーディングの学習、音声サービング、TPUバックエンド、教育向けの関連リポジトリも開発しています。また、verlやslimeなどのRL学習フレームワークや、Ray Serve、NVIDIA Dynamoなどのオーケストレーションツールと連携します。

主な機能

  • 011つのフレームワークで大規模言語モデル、ビジョン言語モデル、拡散モデルをサービングできます。
  • 02NVIDIA、AMD、Google TPU、Intel、Apple Silicon、Huawei Ascend、Moore Threadsのハードウェアに対応しています。
  • 03画像と動画の生成に対応するSGLang Diffusionを含みます。
  • 04Dockerイメージと、pipまたはuvでインストールできるPythonパッケージを提供します。
  • 05ロールアウト生成のためにRL学習フレームワークと連携します。

ユースケース

  • GPUクラスター上でLLMやVLMをオンライン推論サービスとしてデプロイする。
  • 強化学習のポストトレーニング用にロールアウトを生成する。
  • Apple Silicon搭載MacやIntelハードウェアでモデル推論を実行する。
  • 拡散モデル対応の画像・動画生成モデルをサービングする。

クイックスタート

  1. 1

    SGLangと依存関係を含むDockerイメージをPullします

    docker pull lmsysorg/sglang:latest
  2. 2

    または、有効化したPython環境でuvを使ってSGLangをインストールします

    uv pip install --prerelease=allow sglang
  3. 3

    ドキュメントのQuickstartガイドに従ってモデルを起動します

使う前に知っておきたいこと

  • uvでインストールするには、--prereleaseフラグでプレリリースパッケージを許可する必要があります。
  • AWS TrainiumやCambricon MLUなど、いくつかのハードウェア連携は現在も開発中です。

トピック

#llm#inference#gpu#serving#vlm#diffusion#cuda#moe#attention#blackwell

よくある質問

sglang とは？
SGLangは、多様なGPU、TPU、CPU環境で大規模言語モデル、ビジョン言語モデル、拡散モデルを提供するオープンソース推論フレームワークです。 SGLangは、大規模言語モデル、ビジョン言語モデル、拡散モデル向けのサービングフレームワークです。エージェント型ワークロード、大規模なオンラインサービング、強化学習向けのロールアウト生成を想定しています。Dockerイメージを使うか、uvでインストールしたPythonパッケージを使ってモデルを起動できます。
sglang は無料で使えますか？ライセンスは？
sglang は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
sglang は今もメンテナンスされていますか？
活発にメンテナンス中。sglang の最終コミットは 2026年10月20日 です。
sglang は何に使えますか？
GPUクラスター上でLLMやVLMをオンライン推論サービスとしてデプロイする。 強化学習のポストトレーニング用にロールアウトを生成する。 Apple Silicon搭載MacやIntelハードウェアでモデル推論を実行する。 拡散モデル対応の画像・動画生成モデルをサービングする。
sglang のインストール方法は？
SGLangと依存関係を含むDockerイメージをPullします: docker pull lmsysorg/sglang:latest または、有効化したPython環境でuvを使ってSGLangをインストールします: uv pip install --prerelease=allow sglang ドキュメントのQuickstartガイドに従ってモデルを起動します
sglang はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/sgl-project/sglang

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト