flitai-io/gpuworks

これは何？

主な機能

• 01NVIDIA、AMD、Ascend、PPU、Hygon、Apple Siliconのノードを1つのクラスターにまとめてモデルをデプロイできます。
• 02必要なGPUメモリを見積もり、各GPUが選定または除外された理由を説明します。
• 03OpenAI互換の/v1 APIで、チャット、埋め込み、rerank、音声、画像の各エンドポイントを提供します。
• 04複数のパブリッククラウドからインスタンスを同期し、オンプレミスサーバーと合わせてスケジューリングします。
• 05GPUノードはインバウンドポートを開かずに、WebSocket経由で外部へ接続できます。
• 06GPUとエンジンのメトリクス、検索可能なログ、リクエストトレース、組み込みベンチマークを提供します。

ユースケース

• レンタルしたクラウドGPUとオンプレミスサーバーを組み合わせて、オープンウェイトLLMを実行する。
• 複数チーム向けに、APIキーごとの使用状況を追跡できる社内OpenAI互換モデルエンドポイントを提供する。
• メモリクォータを使って、1つのGPU上で複数の小規模モデルをホストする。
• オフラインでのイメージやモデルのインポートに対応した、エアギャップ環境で推論を運用する。

収録されている特集

トピック

よくある質問

gpuworks とは？

異種アクセラレータを搭載したサーバーやクラウドをまとめ、OpenAI互換エンドポイントを提供する軽量なGPU管理・Model-as-a-Serviceプラットフォーム。 GPUWorksは、さまざまなハードウェア上でLLMなどのモデルを動かすチーム向けの、GPU管理・Model-as-a-Service（MaaS）プラットフォームです。ベアメタルサーバー、クラウドインスタンス、VM、Macを1つのクラスターにまとめ、モデルを選ぶと、必要なGPUメモリを見積もって適切なGPUを選定し、vLLMやSGLangなどの推論エンジンを起動して、単一のOpenAI互換エンドポイントとして公開します。

gpuworks は無料で使えますか？ライセンスは？

gpuworks は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

gpuworks は今もメンテナンスされていますか？

活発にメンテナンス中。gpuworks の最終コミットは 2026年11月6日 です。

gpuworks は何に使えますか？

レンタルしたクラウドGPUとオンプレミスサーバーを組み合わせて、オープンウェイトLLMを実行する。 複数チーム向けに、APIキーごとの使用状況を追跡できる社内OpenAI互換モデルエンドポイントを提供する。 メモリクォータを使って、1つのGPU上で複数の小規模モデルをホストする。 オフラインでのイメージやモデルのインポートに対応した、エアギャップ環境で推論を運用する。

gpuworks はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/flitai-io/gpuworks