mw00/project-maya

これは何？

主な機能

• 01よく使うエキスパートをVRAM、次に使うものをRAM、残りをNVMe SSDに保存する階層型ストレージを採用し、会話の進行に応じて配置を切り替えます。
• 02GLM-5.3-Flash用の量子化モデル（Maya-S/S24/M/M-Derisked/L）に加え、DeepSeek-V4.1-Flash-1017用のエンジンと、実験的なMiniMax-M3.1-Flash用のエンジンが付属します。
• 03OpenAI互換の/v1 APIとAnthropic互換の/v1/messagesエンドポイントに対応しており、Claude Codeなどのツールからローカルサーバーを指定できます。
• 04/v1/responsesは、テキストと画像の会話、ストリーミング、関数ツール呼び出し、スキーマ検証付き出力、キャンセル可能なバックグラウンドタスクに対応します。
• 05チャットごとの指示、編集と再生成、HTMLプレビューに対応したブラウザチャットと、モデルやハードウェアのライブモニターを備えています。
• 06NVIDIA GPUを1～16基（compute capability 7.0以上）搭載した環境で動作します。AMD ROCm 7とWindows 10/11は実験的サポートです。
• 074段階の思考レベル（Off、Low、High、Max）を全体またはリクエストごとに設定でき、最大8件のリクエストを並列デコードできます。
• 08KVストリーミングにより、アテンションキャッシュをVRAM上のウィンドウとともにRAMに保持し、1台のRTX 3090で100万トークンのコンテキストを扱えます。
• 09--calibrateでマシンに合わせたエンジン調整を10～15分で実行できます。--reportを使うと、ハードウェアと速度のレポートをバグ報告用に出力できます。

ユースケース

• データをマシンの外に出せない環境で、ワークステーションや小規模サーバーに大規模MoEモデルをプライベートにホストする。
• Claude Codeなどのコーディングエージェントを、Anthropic互換エンドポイント経由でローカルモデルに接続する。
• 並列リクエストを使って、複数の開発者やエージェントセッションで1台のマシンを共有する。
• KVストリーミングを使い、一般向けGPU 1基で最大100万トークンの長文書との会話を実行する。
• ダウンロード前に、報告されている精度維持率とメモリ使用量を見比べて量子化モデルの段階を選ぶ。
• LinuxのCUDA環境ではなく、AMD GPUやWindowsワークステーションでローカルの大規模モデル推論を試す。

クイックスタート

1. 1

   リポジトリをクローンして、フォルダーを開きます

2. 2

   セットアップスクリプトを実行し、モデルを選択します

   ./setup.sh --setup
3. 3

   サーバーを起動して、ブラウザーでチャットします

使う前に知っておきたいこと

• !高性能なNVIDIA GPU環境が必要です。AMDとWindowsのサポートは実験的です。
• !モデルファイルは約94 GBから500 GB超と非常に大きく、高速なローカルストレージが必要です。
• !Maya-M-DeriskedやMiniMax-M3.1-Flashなど、一部のモデルオプションは実験的とされています。

収録されている特集

トピック

よくある質問

project-maya とは？

GLM-5.3-Flashなどの大規模MoEモデルを手元のGPUで実行できる、OpenAI互換API対応のセルフホスト型推論エンジン。 Project Mayaは、データセンターではなく手元のハードウェアで大規模なMixture of Expertsモデルを動かすためのローカル推論エンジン兼サーバーです。エンジンはGLM-5.3-Flash（321Bパラメーター、トークンあたりのアクティブパラメーターは約18B）とDeepSeek-V4.1-Flash-1017（748B）を対象としています。使用頻度の高いエキスパートはVRAMに、次に使用頻度の高いものはRAMに置き、残りはNVMe SSDから読み込みます。起動時にGPU、CPU、RAM、ディスクを測定し、それに合わせて自動調整します。

project-maya は無料で使えますか？ライセンスは？

project-maya は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

project-maya は今もメンテナンスされていますか？

活発にメンテナンス中。project-maya の最終コミットは 2026年11月7日 です。

project-maya は何に使えますか？

データをマシンの外に出せない環境で、ワークステーションや小規模サーバーに大規模MoEモデルをプライベートにホストする。 Claude Codeなどのコーディングエージェントを、Anthropic互換エンドポイント経由でローカルモデルに接続する。 並列リクエストを使って、複数の開発者やエージェントセッションで1台のマシンを共有する。 KVストリーミングを使い、一般向けGPU 1基で最大100万トークンの長文書との会話を実行する。 ダウンロード前に、報告されている精度維持率とメモリ使用量を見比べて量子化モデルの段階を選ぶ。 LinuxのCUDA環境ではなく、AMD GPUやWindowsワークステーションでローカルの大規模モデル推論を試す。

project-maya のインストール方法は？

リポジトリをクローンして、フォルダーを開きます セットアップスクリプトを実行し、モデルを選択します: ./setup.sh --setup サーバーを起動して、ブラウザーでチャットします

project-maya はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/mw00/project-maya