kalavai-net/kalavai-client

これは何？

主な機能

• 01複数マシンのGPU・CPUを1つのコントロールプレーンに集約します。
• 02NVIDIAおよびAMDのGPUと、ARM64およびAMD64のCPUに対応します。
• 03GPUの分割共有と、複数ノード・複数GPUへのデプロイが可能です。
• 04vLLMやllama.cppなどの推論エンジン向けに、すぐに使えるテンプレートを提供します。
• 05プール管理用のCLIとローカルGUIを備えています。

ユースケース

• 複数マシンに分散した余剰GPUを使って、大規模言語モデルをサービングする。
• 一般的なコンピューター上でllama.cppを使い、CPUによるGGUFモデルの推論を実行する。
• Rayやaxolotlを使って、分散ファインチューニングジョブをデプロイする。
• チームのローカルおよびクラウドのコンピューティングリソースをまとめた、統合モデルポータルをホストする。

クイックスタート

1. 1

   gccコンパイラーとpython3-devの前提条件をインストールする

   sudo apt install gcc g++ python3-dev
2. 2

   Pythonパッケージ kalavai-client をインストールする

   pip install kalavai-client
3. 3

   ローカルのプライベートプールを起動する

   kalavai pool start
4. 4

   GUIを起動し、http://localhost:49153 を開く

   kalavai gui start

使う前に知っておきたいこと

• !プロジェクトはまだ初期段階にあり、バージョン1.0より前に破壊的変更が行われる可能性があります。
• !シードノードには、Dockerとrootアクセス権を備えたLinuxマシンが必要です。
• !一部のAIエンジンとテンプレートは、近日公開予定または実験的として掲載されています。

収録されている特集

トピック

よくある質問

kalavai-client とは？

複数マシンの余剰GPU・CPUを1つのコントロールプレーンに集約し、AIワークロードを実行するオープンソースプラットフォームとPythonクライアント。 Kalavaiは、ローカル、オンプレミス、マルチクラウドのマシンからコンピューティングリソースを集約し、大規模なAIワークロードを実行できる単一のプールを構成します。プールには、中央のコントロールプレーンとして機能する1つ以上のシードノードと、接続してジョブを実行するワーカーノードがあります。ワーカーノードは通常、GPUを搭載したマシン上で動作します。

kalavai-client は無料で使えますか？ライセンスは？

kalavai-client は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

kalavai-client は今もメンテナンスされていますか？

活発にメンテナンス中。kalavai-client の最終コミットは 2026年10月17日 です。

kalavai-client は何に使えますか？

複数マシンに分散した余剰GPUを使って、大規模言語モデルをサービングする。 一般的なコンピューター上でllama.cppを使い、CPUによるGGUFモデルの推論を実行する。 Rayやaxolotlを使って、分散ファインチューニングジョブをデプロイする。 チームのローカルおよびクラウドのコンピューティングリソースをまとめた、統合モデルポータルをホストする。

kalavai-client のインストール方法は？

gccコンパイラーとpython3-devの前提条件をインストールする: sudo apt install gcc g++ python3-dev Pythonパッケージ kalavai-client をインストールする: pip install kalavai-client ローカルのプライベートプールを起動する: kalavai pool start GUIを起動し、http://localhost:49153 を開く: kalavai gui start

kalavai-client はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/kalavai-net/kalavai-client