kindlingai/gr8

これは何？

主な機能

• 01RoCE v2経由でGB10マシン3〜6台をテンソル並列に接続し、GLM 5.3全体の推論を実行。
• 02ヘッドノードからOpenAI互換のチャットAPIとCompletions APIを提供。
• 03最大8つの同時セッションでデコードステップを共有。
• 04MTPまたはDFlash2ドラフターによる投機的デコード。
• 05KVプレフィックスを再利用し、会話の続きでは新しいトークンだけをprefill。
• 06実験的なint4 KVキャッシュとリモートKVノードにより、より長いコンテキストに対応。

ユースケース

• DGX SparkまたはGB10マシンの小規模クラスターで、フルサイズのGLM 5.3モデルをプライベートに実行する。
• ローカルハードウェアから、社内ツール向けにOpenAI互換エンドポイントを提供する。
• MoEおよびMLA推論の、ゼロから構築されたCUDA実装を研究する。

クイックスタート

1. 1

   デプロイガイドを読み、モデルとpeerまたはmentatのオプションを設定します

2. 2

   エンジンとフロントエンドをビルドします

   ./gr8 build
3. 3

   すべてのボックスでモデルを起動します

   ./gr8 glm53 up
4. 4

   ヘッドボックスのAPIに対してスモークテストを実行します

   ./gr8 smoke

使う前に知っておきたいこと

• !メモリを各128 GB搭載したDGX Spark（GB10）ボックスが3～6台必要です。一般的なハードウェアでは動作しません。
• !ベータ版のため、バグや互換性を損なう変更が発生する可能性があります。
• !ボックス間にRoCE v2ファブリックまたはリング状の配線構成が必要です。また、特定のTCPポートを開放したLANも必要です。
• !モデルのダウンロード容量が大きく、TP=4の場合、ボックス1台あたり約90 GBのディスク容量を使用します。

収録されている特集

トピック

よくある質問

gr8 とは？

ゼロからCUDAで構築した推論エンジン。OpenAI互換APIを備え、DGX Spark（GB10）3〜6台でGLM 5.3全体を実行します。 gr8は、256個のエキスパートを持つMoEネットワーク、スパースインデクサーを備えたMLA attention、1層のMTPからなるGLM 5.3全体を実行するローカル推論エンジンです。CUDAでゼロから構築され、DGX Spark（GB10）マシン3〜6台でテンソル並列に動作します。各マシンで1プロセスを実行し、ランク間の通信にはRoCE v2を使用します。サービング時にvLLM、PyTorch、NCCLには依存せず、ヘッドノードがポート8100でOpenAI互換APIを公開します。

gr8 は無料で使えますか？ライセンスは？

gr8 は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

gr8 は今もメンテナンスされていますか？

活発にメンテナンス中。gr8 の最終コミットは 2026年11月7日 です。

gr8 は何に使えますか？

DGX SparkまたはGB10マシンの小規模クラスターで、フルサイズのGLM 5.3モデルをプライベートに実行する。 ローカルハードウェアから、社内ツール向けにOpenAI互換エンドポイントを提供する。 MoEおよびMLA推論の、ゼロから構築されたCUDA実装を研究する。

gr8 のインストール方法は？

デプロイガイドを読み、モデルとpeerまたはmentatのオプションを設定します エンジンとフロントエンドをビルドします: ./gr8 build すべてのボックスでモデルを起動します: ./gr8 glm53 up ヘッドボックスのAPIに対してスモークテストを実行します: ./gr8 smoke

gr8 はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/kindlingai/gr8