「model-serving」に関するオープンソースプロジェクト

テキスト、画像、音声、動画、アクションを生成する全モダリティ対応モデルを実行できる、vLLMを拡張したサービングフレームワーク。

複数のMLフレームワークに対応し、予測AIモデルと生成AIモデルを大規模にデプロイ・サービングするKubernetesネイティブのプラットフォーム。