Repolode
投稿する
midagedev

midagedev/bloomery

GPUメモリを超えるMoEモデル向けのRust製LLM推論サーバー。llama-server互換のHTTP APIを備え、NVIDIA GPUとApple Siliconに対応します。

GitHub で見る
スター
60
フォーク
7
未解決の Issue
49
最終コミット
8 時間前

これは何？

bloomeryは、ルーティングされたエキスパートをGPUメモリ、ホストRAM、必要に応じてNVMeストレージに分散し、1台のマシンで大規模なMixture-of-Experts言語モデルを提供します。デコーダーが頻繁に呼び出すエキスパートを追跡し、実行中にGPUへ移動します。DGX Spark（GB10）を含むNVIDIA GPUと、Metalバックエンドを介したApple Siliconに対応しています。

llama-serverと同じHTTP APIを提供し、OpenAIおよびAnthropicのルート、GGUF入力、-ngl、--cpu-moe、-otなどのllamaの配置フラグに対応しているため、既存のクライアントを変更せずに利用できます。また、ホストRAM上のプロンプトキャッシュ、複数スロットにまたがるバッチリクエスト、モデルがドラフトを生成する投機的デコーディングも備えています。モデルはGGUFファイルから読み込めるほか、一部のケースではNVFP4やMLXのチェックポイントフォルダーからも読み込めます。

CUDAカーネルはRustで記述され、cuda-oxideでコンパイルされます。プロジェクトはMITライセンスで、インストーラー、Homebrew、Docker、tarballを通じてビルド済みリリースを提供しています。

主な機能

  • 01重みがGPUメモリを超えるMoEモデルを、GPU、ホストRAM、NVMeにエキスパートを配置して実行します。
  • 02OpenAIおよびAnthropicのルートを備えた、llama-server互換のHTTP APIを提供します。
  • 03GGUFファイルとllamaの配置フラグを読み込めるため、既存のクライアントを変更せずに利用できます。
  • 04保存したプロンプト状態をホストRAMに保持し、同じプレフィックスを持つリクエストで再利用できます。
  • 05複数の同時実行スロットと、ドラフトモデルが利用できる場合の投機的デコーディングに対応します。
  • 06Apple Silicon搭載Mac向けのMetalバックエンドを備えています。

ユースケース

  • 24 GBのGPUを1基搭載したワークステーションで、Qwen3-30B-A3BやGLMなどの大規模MoEモデルを実行する。
  • NVIDIA DGX SparkやRTX 5090上で、コーディングエージェント向けにローカルモデルを提供する。
  • llama-serverのデプロイを、同じクライアントインターフェースを持つRust製サーバーに置き換える。
  • Metal GPUを搭載したApple Silicon MacでMixture-of-Expertsモデルを実行する。

クイックスタート

  1. 1

    READMEに記載されている公式インストールスクリプトを実行する

  2. 2

    Hugging Faceのモデルを使ってサーバーを起動する

    ~/.local/bin/bloomery-serve --hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M
  3. 3

    サーバーにテスト用のチャットリクエストを送信する

    curl -s http://127.0.0.1:8080/v1/chat/completions -d '{"messages": [{"role": "user", "content": "Hello"}], "max_tokens": 64}'

使う前に知っておきたいこと

  • Compute Capability 8.6以上のNVIDIA GPU、またはmacOS 26.2以降を搭載したApple Siliconが必要です。
  • Apple Siliconのサポートは特定のアーキテクチャに限られ、ほとんど検証されていません。スロットは1つで、テキストのみ利用できます。
  • Linux x86-64ではR580以降のNVIDIAドライバーが必要です。WindowsではWSL2経由でのみ動作します。
  • まだ新しいプロジェクトで、スター数は57、バージョンは0.3.xです。

収録されている特集

LLM をローカルで動かす

トピック

#llm#inference#moe#cuda#gguf#llama-cpp#rust#metal#deepseek#glm

よくある質問

bloomery とは？
GPUメモリを超えるMoEモデル向けのRust製LLM推論サーバー。llama-server互換のHTTP APIを備え、NVIDIA GPUとApple Siliconに対応します。 bloomeryは、ルーティングされたエキスパートをGPUメモリ、ホストRAM、必要に応じてNVMeストレージに分散し、1台のマシンで大規模なMixture-of-Experts言語モデルを提供します。デコーダーが頻繁に呼び出すエキスパートを追跡し、実行中にGPUへ移動します。DGX Spark（GB10）を含むNVIDIA GPUと、Metalバックエンドを介したApple Siliconに対応しています。
bloomery は無料で使えますか？ライセンスは？
bloomery は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
bloomery は今もメンテナンスされていますか？
活発にメンテナンス中。bloomery の最終コミットは 2026年11月6日 です。
bloomery は何に使えますか？
24 GBのGPUを1基搭載したワークステーションで、Qwen3-30B-A3BやGLMなどの大規模MoEモデルを実行する。 NVIDIA DGX SparkやRTX 5090上で、コーディングエージェント向けにローカルモデルを提供する。 llama-serverのデプロイを、同じクライアントインターフェースを持つRust製サーバーに置き換える。 Metal GPUを搭載したApple Silicon MacでMixture-of-Expertsモデルを実行する。
bloomery のインストール方法は？
READMEに記載されている公式インストールスクリプトを実行する Hugging Faceのモデルを使ってサーバーを起動する: ~/.local/bin/bloomery-serve --hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M サーバーにテスト用のチャットリクエストを送信する: curl -s http://127.0.0.1:8080/v1/chat/completions -d '{"messages": [{"role": "user", "content": "Hello"}], "max_tokens": 64}'
bloomery はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/midagedev/bloomery

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト