Apple Silicon、NVIDIA、AMD、CPU向けにカーネルを調整し、オープンモデルを高速実行するオープンソース推論エンジン。
Nehanth/pooled
ブラウザー上でLLM推論をピアツーピアで実行。WebRTCでノートPC、デスクトップ、スマートフォンをつなぎ、大規模なオープンモデルを動かせる。コーディングエージェントも内蔵。
- スター
- 628
- フォーク
- 96
- 未解決の Issue
- 67
- 最終コミット
- 4 日前
これは何?
Pooledは、ルーム内の複数デバイスで1つのオープン言語モデルを実行します。各デバイスがモデルのレイヤーの一部を受け持ち、WebGPU経由で自身のGPU上で処理します。中間状態は、ブラウザーのタブ間で直接確立したWebRTC接続を通じて受け渡されます。共有リンクを開くだけで参加でき、インストールやアカウント登録は不要で、推論を担うサーバーもありません。
Pooledでは、モデルとのチャットに加えて、モデルがファイルを書き、サンドボックス化されたローカルプレビューで実行し、コンソールエラーを読み取って修正するCodeモードを利用できます。また、別のマシンで動作する小規模なCLIブリッジを使い、ルーム内のモデルをOpenAIおよびAnthropic互換APIとして公開することもできます。掲載モデルにはQwen 3.6 35B MoE、Qwen 3.8 27B、小型のQwen3 1.7Bがあり、ディスクからエキスパートをストリーミングする実験的な125BのQwen3.8 Flashも含まれます。
本プロジェクトはMITライセンスで、主にJavaScriptで実装されており、WebGPUカーネルにはWGSLを使用しています。ドキュメントにはアーキテクチャの解説、特定のハードウェアでのベンチマーク、ルーム内のピアがプロンプトを見られることや、悪意のあるピアに対して中間状態のプライバシーは保証されないことを示す脅威モデルが含まれています。
主な機能
- 01ノートPC、デスクトップ、スマートフォンのブラウザータブ間でモデルのレイヤーを分割します。
- 02WebGPUと独自のWGSLカーネルを使い、各デバイスのGPUで計算を実行します。
- 03直接確立したWebRTC接続でデバイス間の中間状態を受け渡し、リレーによるフォールバックにも対応します。
- 04Codeモードでは、ブラウザー内で小規模なWebアプリを作成、プレビュー、修正できます。
- 05CLIブリッジを介して、ルーム内のモデルをOpenAIおよびAnthropic互換APIとして公開します。
ユースケース
- クラウドアカウントを使わず、手持ちの複数デバイスをまとめて大きなオープンモデルを実行する。
- 1つのリンクを通じて、友人や同僚の小規模なグループとモデルを共有する。
- ブラウザー内のコーディングエージェントを使って、小規模なWebアプリを試作する。
- ローカルのコーディングエージェントやSDKのコードから、ルーム内でホストされているモデルを利用する。
クイックスタート
- 1
リポジトリをクローンする
git clone https://github.com/Nehanth/pooled && cd pooled - 2
フォルダーをローカルで配信して、ルームページを開く
npx -y serve -l 8080 . - 3
コマンドラインからルームに参加して、コンピューターを貸し出す(任意)
npx @pooled/cli join <ROOM CODE>
使う前に知っておきたいこと
- 推論には、ブラウザーでWebGPUに対応したGPUが必要です。
- Qwen3.8 Flashモデルは実験的なもので、初回実行時に約99 GBをダウンロードします。
- サイトにリレーが設定されていない場合、一部の職場ネットワークではピアツーピアのルームがブロックされることがあります。
収録されている特集
トピック
よくある質問
- pooled とは?
- ブラウザー上でLLM推論をピアツーピアで実行。WebRTCでノートPC、デスクトップ、スマートフォンをつなぎ、大規模なオープンモデルを動かせる。コーディングエージェントも内蔵。 Pooledは、ルーム内の複数デバイスで1つのオープン言語モデルを実行します。各デバイスがモデルのレイヤーの一部を受け持ち、WebGPU経由で自身のGPU上で処理します。中間状態は、ブラウザーのタブ間で直接確立したWebRTC接続を通じて受け渡されます。共有リンクを開くだけで参加でき、インストールやアカウント登録は不要で、推論を担うサーバーもありません。
- pooled は無料で使えますか?ライセンスは?
- pooled は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- pooled は今もメンテナンスされていますか?
- 活発にメンテナンス中。pooled の最終コミットは 2026年11月3日 です。
- pooled は何に使えますか?
- クラウドアカウントを使わず、手持ちの複数デバイスをまとめて大きなオープンモデルを実行する。 1つのリンクを通じて、友人や同僚の小規模なグループとモデルを共有する。 ブラウザー内のコーディングエージェントを使って、小規模なWebアプリを試作する。 ローカルのコーディングエージェントやSDKのコードから、ルーム内でホストされているモデルを利用する。
- pooled のインストール方法は?
- リポジトリをクローンする: git clone https://github.com/Nehanth/pooled && cd pooled フォルダーをローカルで配信して、ルームページを開く: npx -y serve -l 8080 . コマンドラインからルームに参加して、コンピューターを貸し出す(任意): npx @pooled/cli join <ROOM CODE>
- pooled はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/Nehanth/pooled
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
ONNX Runtimeを使い、サーバーなしでHugging Face TransformersモデルをブラウザーやJavaScriptランタイム上で実行できます。
クラウドサーバーを介さずデバイス間でファイルを直接送信し、設定した時間が経過すると削除するブラウザベースのファイル共有ツールです。
手持ちのデバイスを1つのAIクラスターにまとめ、複数のMacや他のマシンで大規模モデルをローカル実行できます。
複数マシンのGPUとメモリを集約してOpenAI互換APIを提供し、ローカル、ピア、または分割したモデルステージへリクエストをルーティングします。
vLLM、SGLang、llama.cppなどのバックエンドを切り替えて、大規模言語モデルをデプロイ・提供できるKubernetesネイティブの推論プラットフォーム。