Repolode
Nehanth

Nehanth/pooled

ブラウザー上でLLM推論をピアツーピアで実行。WebRTCでノートPC、デスクトップ、スマートフォンをつなぎ、大規模なオープンモデルを動かせる。コーディングエージェントも内蔵。

スター
628
フォーク
96
未解決の Issue
67
最終コミット
4 日前

これは何?

Pooledは、ルーム内の複数デバイスで1つのオープン言語モデルを実行します。各デバイスがモデルのレイヤーの一部を受け持ち、WebGPU経由で自身のGPU上で処理します。中間状態は、ブラウザーのタブ間で直接確立したWebRTC接続を通じて受け渡されます。共有リンクを開くだけで参加でき、インストールやアカウント登録は不要で、推論を担うサーバーもありません。

Pooledでは、モデルとのチャットに加えて、モデルがファイルを書き、サンドボックス化されたローカルプレビューで実行し、コンソールエラーを読み取って修正するCodeモードを利用できます。また、別のマシンで動作する小規模なCLIブリッジを使い、ルーム内のモデルをOpenAIおよびAnthropic互換APIとして公開することもできます。掲載モデルにはQwen 3.6 35B MoE、Qwen 3.8 27B、小型のQwen3 1.7Bがあり、ディスクからエキスパートをストリーミングする実験的な125BのQwen3.8 Flashも含まれます。

本プロジェクトはMITライセンスで、主にJavaScriptで実装されており、WebGPUカーネルにはWGSLを使用しています。ドキュメントにはアーキテクチャの解説、特定のハードウェアでのベンチマーク、ルーム内のピアがプロンプトを見られることや、悪意のあるピアに対して中間状態のプライバシーは保証されないことを示す脅威モデルが含まれています。

主な機能

  • 01ノートPC、デスクトップ、スマートフォンのブラウザータブ間でモデルのレイヤーを分割します。
  • 02WebGPUと独自のWGSLカーネルを使い、各デバイスのGPUで計算を実行します。
  • 03直接確立したWebRTC接続でデバイス間の中間状態を受け渡し、リレーによるフォールバックにも対応します。
  • 04Codeモードでは、ブラウザー内で小規模なWebアプリを作成、プレビュー、修正できます。
  • 05CLIブリッジを介して、ルーム内のモデルをOpenAIおよびAnthropic互換APIとして公開します。

ユースケース

  • クラウドアカウントを使わず、手持ちの複数デバイスをまとめて大きなオープンモデルを実行する。
  • 1つのリンクを通じて、友人や同僚の小規模なグループとモデルを共有する。
  • ブラウザー内のコーディングエージェントを使って、小規模なWebアプリを試作する。
  • ローカルのコーディングエージェントやSDKのコードから、ルーム内でホストされているモデルを利用する。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/Nehanth/pooled && cd pooled
  2. 2

    フォルダーをローカルで配信して、ルームページを開く

    npx -y serve -l 8080 .
  3. 3

    コマンドラインからルームに参加して、コンピューターを貸し出す(任意)

    npx @pooled/cli join <ROOM CODE>

使う前に知っておきたいこと

  • 推論には、ブラウザーでWebGPUに対応したGPUが必要です。
  • Qwen3.8 Flashモデルは実験的なもので、初回実行時に約99 GBをダウンロードします。
  • サイトにリレーが設定されていない場合、一部の職場ネットワークではピアツーピアのルームがブロックされることがあります。

収録されている特集

トピック

よくある質問

pooled とは?
ブラウザー上でLLM推論をピアツーピアで実行。WebRTCでノートPC、デスクトップ、スマートフォンをつなぎ、大規模なオープンモデルを動かせる。コーディングエージェントも内蔵。 Pooledは、ルーム内の複数デバイスで1つのオープン言語モデルを実行します。各デバイスがモデルのレイヤーの一部を受け持ち、WebGPU経由で自身のGPU上で処理します。中間状態は、ブラウザーのタブ間で直接確立したWebRTC接続を通じて受け渡されます。共有リンクを開くだけで参加でき、インストールやアカウント登録は不要で、推論を担うサーバーもありません。
pooled は無料で使えますか?ライセンスは?
pooled は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
pooled は今もメンテナンスされていますか?
活発にメンテナンス中。pooled の最終コミットは 2026年11月3日 です。
pooled は何に使えますか?
クラウドアカウントを使わず、手持ちの複数デバイスをまとめて大きなオープンモデルを実行する。 1つのリンクを通じて、友人や同僚の小規模なグループとモデルを共有する。 ブラウザー内のコーディングエージェントを使って、小規模なWebアプリを試作する。 ローカルのコーディングエージェントやSDKのコードから、ルーム内でホストされているモデルを利用する。
pooled のインストール方法は?
リポジトリをクローンする: git clone https://github.com/Nehanth/pooled && cd pooled フォルダーをローカルで配信して、ルームページを開く: npx -y serve -l 8080 . コマンドラインからルームに参加して、コンピューターを貸し出す(任意): npx @pooled/cli join <ROOM CODE>
pooled はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/Nehanth/pooled

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト