jesdga95/basalt

これは何？

主な機能

• 01VRAMからあふれたエキスパートをシステムRAMに配置でき、オプションで2台目のGPUをエキスパート用の追加層として利用できます。
• 02ローカルサーバーからOpenAIおよびAnthropic互換APIを提供します。
• 03ストリーミング応答に対応したWeb UIを備えています。
• 04重み、tokenizer、drafter、vision projectorを単一の.basaltファイルにまとめます。
• 05NVFP4やGGUF由来の形式など、複数の量子化モデルパックを提供します。
• 06ハードウェアを測定し、設定値を提案する`basalt-probe`を提供します。

ユースケース

• NVIDIA Blackwell搭載の単一ワークステーションで大規模なMoEモデルを実行する。
• 既存のクライアントツール向けに、OpenAIまたはAnthropic互換のローカルエンドポイントを提供する。
• Qwen3.8-Flash-Nextの量子化によるトレードオフを検証する。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/jesdga95/basalt && cd basalt
2. 2

   CMakeでプロジェクトをビルドする

   cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -j
3. 3

   Pythonの依存関係をインストールしてモデルをダウンロードする

   pip install -r requirements.txt && hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4.basalt --local-dir models
4. 4

   設定ファイルを指定してサーバーを起動する

   bin/basalt serve --config basalt_config.json

使う前に知っておきたいこと

• !Linuxまたは、NVIDIA Blackwell GPU（sm_120）とCUDA 13を搭載したWindowsが必要です。
• !VRAMに収まらないエキスパートを保持できるだけのシステムRAMが必要です。
• !モデルパックはMITライセンスではなく、Qwen Community Licenseの対象です。

収録されている特集

トピック

よくある質問

basalt とは？

OpenAIおよびAnthropic互換APIを通じて、NVIDIA Blackwell GPU上でQwen3.8-Flash-NextのMoEモデルを実行するローカル推論エンジン。 Basaltは、Qwen3.8-Flash-NextのMixture of Expertsモデル向けに構築されたローカル推論エンジンです。NVIDIA Blackwell GPU（Compute Capability 12.0）とCUDA 13を搭載したLinuxおよびWindowsマシンを対象としています。

basalt は無料で使えますか？ライセンスは？

basalt は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

basalt は今もメンテナンスされていますか？

活発にメンテナンス中。basalt の最終コミットは 2026年11月7日 です。

basalt は何に使えますか？

NVIDIA Blackwell搭載の単一ワークステーションで大規模なMoEモデルを実行する。 既存のクライアントツール向けに、OpenAIまたはAnthropic互換のローカルエンドポイントを提供する。 Qwen3.8-Flash-Nextの量子化によるトレードオフを検証する。

basalt のインストール方法は？

リポジトリをクローンする: git clone https://github.com/jesdga95/basalt && cd basalt CMakeでプロジェクトをビルドする: cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -j Pythonの依存関係をインストールしてモデルをダウンロードする: pip install -r requirements.txt && hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4.basalt --local-dir models 設定ファイルを指定してサーバーを起動する: bin/basalt serve --config basalt_config.json

basalt はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/jesdga95/basalt