Mesh-LLM/mesh-llm

これは何？

主な機能

• 01メッシュ内の全ノードで、単一のOpenAI互換/v1 APIを提供します。
• 02モデル名に基づき、モデルを実行するローカルノードまたはピアノードへリクエストをルーティングします。
• 031台のマシンに収まらないモデルを、ノード間でレイヤー単位のステージに分割します。
• 04QUICでピア間通信をエンドツーエンド暗号化します。
• 05招待トークンによるプライベートメッシュと、Nostrで検出するパブリックメッシュに対応します。
• 06Webコンソールと、サーバー向けのヘッドレスモードを備えています。

ユースケース

• 複数のワークステーションで余っているGPUを集約し、どの1台にも収まらないモデルを実行する。
• LAN上の複数マシンにまたがる、チーム共用のプライベートLLMエンドポイントを用意する。
• Claude CodeやOpenCodeなどのコーディングエージェントを、セルフホストしたモデルプールに接続する。
• 開発用に、単一のGGUFモデルをスタンドアロンのOpenAI互換サーバーとして実行する。

クイックスタート

1. 1

   お使いのOS向けの公式インストールスクリプトを実行します（READMEを参照）

2. 2

   または、Apple Silicon搭載MacではHomebrewでインストールします

   brew install Mesh-LLM/tap/mesh-llm
3. 3

   セットアップを完了します

   mesh-llm setup
4. 4

   公開メッシュに参加し、ポート9337でサービスを開始します

   mesh-llm serve --auto

使う前に知っておきたいこと

• !Windowsネイティブ版のインストールには既知の不具合があるため、現時点ではREADMEでプレリリースビルドを案内しています。
• !モデル「mesh」のfan-out（Mixture-of-Agents）機能は実験的なもので、変更される可能性があります。
• !ソースからビルドするには、just、cmake、Rust、sccache、高速なリンカー、Node.js 24など、複数のツールチェーン構成要素が必要です。

収録されている特集

トピック

よくある質問

mesh-llm とは？

複数マシンのGPUとメモリを集約してOpenAI互換APIを提供し、ローカル、ピア、または分割したモデルステージへリクエストをルーティングします。 Mesh LLMは複数マシンのGPUとメモリを組み合わせ、単一のOpenAI互換エンドポイントとして公開します。デフォルトではlocalhost:9337/v1で提供されます。1台のノードでモデルを実行できる場合はローカルで実行し、できない場合はmodelフィールドに基づいて実行可能なピアへルーティングします。どのマシンにも収まらない大きさのモデルは、ノード間でレイヤー単位のステージに分割して実行します。

mesh-llm は無料で使えますか？ライセンスは？

mesh-llm は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

mesh-llm は今もメンテナンスされていますか？

活発にメンテナンス中。mesh-llm の最終コミットは 2026年11月6日 です。

mesh-llm は何に使えますか？

複数のワークステーションで余っているGPUを集約し、どの1台にも収まらないモデルを実行する。 LAN上の複数マシンにまたがる、チーム共用のプライベートLLMエンドポイントを用意する。 Claude CodeやOpenCodeなどのコーディングエージェントを、セルフホストしたモデルプールに接続する。 開発用に、単一のGGUFモデルをスタンドアロンのOpenAI互換サーバーとして実行する。

mesh-llm のインストール方法は？

お使いのOS向けの公式インストールスクリプトを実行します（READMEを参照） または、Apple Silicon搭載MacではHomebrewでインストールします: brew install Mesh-LLM/tap/mesh-llm セットアップを完了します: mesh-llm setup 公開メッシュに参加し、ポート9337でサービスを開始します: mesh-llm serve --auto

mesh-llm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/Mesh-LLM/mesh-llm