「gpu-scheduling」に関するオープンソースプロジェクト

SGLang、vLLM、TensorRT-LLM、Triton向けに、GPUスケジューリングとモデルのライフサイクル管理を備えたLLMサービング用Kubernetes Operator。

Kubernetes上で動作するクラウドネイティブなMLOpsプラットフォーム。Notebook、ドラッグ＆ドロップ式パイプライン、分散学習、LLMサービングに対応。