Repolode
Enviar
Nehanth

Nehanth/pooled

Inferencia de LLM entre pares en el navegador: conecta laptops, computadoras de escritorio y teléfonos mediante WebRTC para ejecutar modelos abiertos grandes, con un agente de programación integrado.

Ver en GitHubSitio web
Estrellas
628
Forks
96
Issues abiertos
67
Último commit
hace 5 días

¿Qué es?

Pooled ejecuta un modelo de lenguaje abierto entre los dispositivos de una sala. Cada dispositivo almacena una parte de las capas del modelo y las ejecuta en su propia GPU mediante WebGPU, mientras los estados ocultos se transfieren entre pestañas del navegador a través de conexiones WebRTC directas. Basta con abrir un enlace compartido para unirse: no hay que instalar nada, crear una cuenta ni usar un servidor para la inferencia.

El proyecto ofrece chat con el modelo distribuido y un modo Code en el que el modelo escribe archivos, los muestra en una vista previa local aislada, lee los errores de la consola y los corrige. Una sala también puede exponer su modelo mediante APIs compatibles con OpenAI y Anthropic usando un pequeño puente CLI que se ejecuta en otra máquina. Entre los modelos disponibles están Qwen 3.6 35B MoE, Qwen 3.8 27B y un Qwen3 1.7B pequeño, además de un Qwen3.8 Flash experimental de 125B que transmite expertos desde el disco.

El proyecto cuenta con licencia MIT y está escrito principalmente en JavaScript; sus kernels de WebGPU están escritos en WGSL. La documentación incluye notas sobre la arquitectura, benchmarks en hardware específico y un modelo de amenazas que señala que los participantes de una sala pueden ver los prompts y que los estados ocultos no son privados frente a un participante decidido a inspeccionarlos.

Funciones clave

  • 01Distribuye las capas de un modelo entre pestañas del navegador en laptops, computadoras de escritorio y teléfonos.
  • 02Ejecuta los cálculos en la GPU de cada dispositivo con WebGPU y kernels WGSL personalizados.
  • 03Transfiere los estados ocultos entre dispositivos mediante conexiones WebRTC directas, con una opción de respaldo a través de un relay.
  • 04El modo Code crea, previsualiza y corrige pequeñas aplicaciones web dentro del navegador.
  • 05Expone el modelo de la sala mediante APIs compatibles con OpenAI y Anthropic, a través de un puente CLI.

Casos de uso

  • Combinar varios dispositivos personales para ejecutar un modelo abierto más grande, sin cuentas en la nube.
  • Compartir un modelo con un grupo pequeño de amigos o colegas mediante un único enlace.
  • Crear prototipos de pequeñas aplicaciones web con un agente de programación en el navegador.
  • Conectar agentes de programación locales o código basado en SDK a un modelo alojado en una sala.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/Nehanth/pooled && cd pooled
  2. 2

    Sirve la carpeta en local y abre la página de la sala

    npx -y serve -l 8080 .
  3. 3

    Únete a una sala desde la línea de comandos para prestar un ordenador (opcional)

    npx @pooled/cli join <ROOM CODE>

Antes de usarlo

  • Para realizar inferencias, se necesita una GPU compatible con WebGPU en el navegador.
  • El modelo Qwen3.8 Flash es experimental y descarga unos 99 GB la primera vez que se ejecuta.
  • Algunas redes de trabajo pueden bloquear las salas entre pares si el sitio no tiene configurado un relé.

En colecciones

Ejecuta LLM en local

Temas

#llm#webgpu#webrtc#peer-to-peer#distributed-inference#browser#local-llm#inference#speculative-decoding#wgsl

Preguntas frecuentes

¿Qué es pooled?
Inferencia de LLM entre pares en el navegador: conecta laptops, computadoras de escritorio y teléfonos mediante WebRTC para ejecutar modelos abiertos grandes, con un agente de programación integrado. Pooled ejecuta un modelo de lenguaje abierto entre los dispositivos de una sala. Cada dispositivo almacena una parte de las capas del modelo y las ejecuta en su propia GPU mediante WebGPU, mientras los estados ocultos se transfieren entre pestañas del navegador a través de conexiones WebRTC directas. Basta con abrir un enlace compartido para unirse: no hay que instalar nada, crear una cuenta ni usar un servidor para la inferencia.
¿pooled es gratuito? ¿Qué licencia tiene?
pooled es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿pooled sigue mantenido?
Mantenimiento activo. El último commit de pooled fue el 3 nov 2026.
¿Para qué puedo usar pooled?
Combinar varios dispositivos personales para ejecutar un modelo abierto más grande, sin cuentas en la nube. Compartir un modelo con un grupo pequeño de amigos o colegas mediante un único enlace. Crear prototipos de pequeñas aplicaciones web con un agente de programación en el navegador. Conectar agentes de programación locales o código basado en SDK a un modelo alojado en una sala.
¿Cómo se instala pooled?
Clona el repositorio: git clone https://github.com/Nehanth/pooled && cd pooled Sirve la carpeta en local y abre la página de la sala: npx -y serve -l 8080 . Únete a una sala desde la línea de comandos para prestar un ordenador (opcional): npx @pooled/cli join <ROOM CODE>
¿Dónde consigo pooled?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Nehanth/pooled

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados