Repolode
Enviar
Nehanth

Nehanth/pooled

Inferência de LLM ponto a ponto no navegador: conecte laptops, desktops e celulares via WebRTC para executar modelos abertos de grande porte, com um agente de programação integrado.

Ver no GitHubSite
Estrelas
628
Forks
96
Issues abertas
67
Último commit
há 5 dias

O que é?

O Pooled executa um modelo de linguagem aberto em vários dispositivos de uma sala. Cada dispositivo mantém uma parte das camadas do modelo e as executa na própria GPU por meio do WebGPU, enquanto os estados ocultos são transmitidos entre abas do navegador por conexões WebRTC diretas. Basta abrir um link compartilhado para entrar; não é necessário instalar nada nem ter uma conta, e nenhum servidor executa a inferência.

O projeto oferece chat com o modelo compartilhado e um modo Code, no qual o modelo cria arquivos, os disponibiliza em uma prévia local isolada, lê erros do console e os corrige. Uma sala também pode disponibilizar o modelo por meio de APIs compatíveis com OpenAI e Anthropic, usando uma pequena ponte CLI executada em outra máquina. Entre os modelos listados estão Qwen 3.6 35B MoE, Qwen 3.8 27B e um Qwen3 1.7B pequeno, além de um Qwen3.8 Flash experimental de 125B que transmite especialistas a partir do disco.

O projeto usa a licença MIT e foi escrito principalmente em JavaScript, com os kernels de WebGPU em WGSL. A documentação inclui notas sobre a arquitetura, benchmarks em hardwares específicos e um modelo de ameaças que informa que os participantes de uma sala podem ver os prompts e que os estados ocultos não são privados contra um participante determinado.

Recursos principais

  • 01Distribui as camadas de um modelo entre abas do navegador em laptops, desktops e celulares.
  • 02Executa cálculos na GPU de cada dispositivo com WebGPU e kernels personalizados em WGSL.
  • 03Transmite estados ocultos entre dispositivos por conexões WebRTC diretas, com uma alternativa por retransmissão.
  • 04O modo Code cria, pré-visualiza e corrige pequenos aplicativos web dentro do navegador.
  • 05Disponibiliza o modelo da sala por meio de APIs compatíveis com OpenAI e Anthropic, usando uma ponte CLI.

Casos de uso

  • Combinar alguns dispositivos pessoais para executar um modelo aberto maior sem contas na nuvem.
  • Compartilhar um modelo com um pequeno grupo de amigos ou colegas por meio de um único link.
  • Criar protótipos de pequenos aplicativos web com um agente de programação no navegador.
  • Conectar agentes de programação locais ou código que usa SDK a um modelo hospedado em uma sala.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/Nehanth/pooled && cd pooled
  2. 2

    Sirva a pasta localmente e abra a página da sala

    npx -y serve -l 8080 .
  3. 3

    Entre em uma sala pela linha de comando para disponibilizar um computador (opcional)

    npx @pooled/cli join <ROOM CODE>

Antes de usar

  • Para fazer inferências, é necessária uma GPU compatível com WebGPU no navegador.
  • O modelo Qwen3.8 Flash é experimental e baixa cerca de 99 GB na primeira execução.
  • Algumas redes de trabalho podem bloquear salas ponto a ponto se o site não tiver um relay configurado.

Em coleções

Rode LLMs localmente

Tópicos

#llm#webgpu#webrtc#peer-to-peer#distributed-inference#browser#local-llm#inference#speculative-decoding#wgsl

Perguntas frequentes

O que é pooled?
Inferência de LLM ponto a ponto no navegador: conecte laptops, desktops e celulares via WebRTC para executar modelos abertos de grande porte, com um agente de programação integrado. O Pooled executa um modelo de linguagem aberto em vários dispositivos de uma sala. Cada dispositivo mantém uma parte das camadas do modelo e as executa na própria GPU por meio do WebGPU, enquanto os estados ocultos são transmitidos entre abas do navegador por conexões WebRTC diretas. Basta abrir um link compartilhado para entrar; não é necessário instalar nada nem ter uma conta, e nenhum servidor executa a inferência.
pooled é gratuito? Qual é a licença?
pooled é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
pooled ainda é mantido?
Manutenção ativa. O último commit de pooled foi em 3 de nov. de 2026.
Para que posso usar pooled?
Combinar alguns dispositivos pessoais para executar um modelo aberto maior sem contas na nuvem. Compartilhar um modelo com um pequeno grupo de amigos ou colegas por meio de um único link. Criar protótipos de pequenos aplicativos web com um agente de programação no navegador. Conectar agentes de programação locais ou código que usa SDK a um modelo hospedado em uma sala.
Como instalar pooled?
Clone o repositório: git clone https://github.com/Nehanth/pooled && cd pooled Sirva a pasta localmente e abra a página da sala: npx -y serve -l 8080 . Entre em uma sala pela linha de comando para disponibilizar um computador (opcional): npx @pooled/cli join <ROOM CODE>
Onde consigo pooled?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Nehanth/pooled

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados