Repolode
Предложить
Nehanth

Nehanth/pooled

Pooled распределяет инференс открытых LLM между браузерами устройств по WebRTC и включает встроенного агента для программирования.

Открыть на GitHubСайт
Звёзды
628
Форки
96
Открытые issues
67
Последний коммит
4 дня назад

Что это?

Pooled запускает одну открытую языковую модель на устройствах в комнате. Каждое устройство хранит часть слоёв модели и выполняет вычисления на собственном GPU через WebGPU; скрытые состояния передаются между вкладками браузера по прямым соединениям WebRTC. Чтобы присоединиться, достаточно открыть общую ссылку: устанавливать ничего не нужно, аккаунт не требуется, а инференс не выполняется на сервере.

В проекте доступны чат с распределённой моделью и режим Code: модель создаёт файлы, показывает их в изолированном локальном предпросмотре, читает ошибки консоли и исправляет их. Комната также может предоставлять доступ к своей модели через API, совместимые с OpenAI и Anthropic, используя небольшой CLI-мост, запущенный на другом компьютере. Среди перечисленных моделей — Qwen 3.6 35B MoE, Qwen 3.8 27B и компактная Qwen3 1.7B, а также экспериментальная Qwen3.8 Flash 125B, которая загружает экспертов с диска по мере необходимости.

Проект распространяется по лицензии MIT и написан преимущественно на JavaScript; его ядра WebGPU — на WGSL. В документации есть описание архитектуры, бенчмарки на конкретном оборудовании и модель угроз, согласно которой участники комнаты видят промпты, а скрытые состояния не защищены от злоумышленника среди участников.

Ключевые возможности

  • 01Распределяет слои модели между вкладками браузера на ноутбуках, настольных компьютерах и телефонах.
  • 02Выполняет вычисления на GPU каждого устройства с помощью WebGPU и собственных ядер WGSL.
  • 03Передаёт скрытые состояния между устройствами по прямым соединениям WebRTC с возможностью переключения на ретранслятор.
  • 04В режиме Code создаёт, показывает в предпросмотре и исправляет небольшие веб-приложения прямо в браузере.
  • 05Предоставляет доступ к модели комнаты через API, совместимые с OpenAI и Anthropic, используя CLI-мост.

Сценарии использования

  • Объединить несколько личных устройств, чтобы запускать более крупную открытую модель без облачных аккаунтов.
  • Поделиться одной моделью с небольшой группой друзей или коллег по одной ссылке.
  • Создавать прототипы небольших веб-приложений с помощью встроенного в браузер агента для программирования.
  • Подключить локальные агенты для программирования или код с SDK к модели, запущенной в комнате.

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/Nehanth/pooled && cd pooled
  2. 2

    Запустите локальную раздачу папки и откройте страницу комнаты

    npx -y serve -l 8080 .
  3. 3

    Подключитесь к комнате из командной строки, чтобы предоставить компьютер (необязательно)

    npx @pooled/cli join <ROOM CODE>

Что важно знать

  • Для инференса в браузере требуется видеокарта с поддержкой WebGPU.
  • Модель Qwen3.8 Flash экспериментальная; при первом запуске скачивается около 99 ГБ данных.
  • Некоторые рабочие сети могут блокировать P2P-комнаты, если на сайте не настроен ретранслятор.

В подборках

Запуск LLM локально

Темы

#llm#webgpu#webrtc#peer-to-peer#distributed-inference#browser#local-llm#inference#speculative-decoding#wgsl

Частые вопросы

Что такое pooled?
Pooled распределяет инференс открытых LLM между браузерами устройств по WebRTC и включает встроенного агента для программирования. Pooled запускает одну открытую языковую модель на устройствах в комнате. Каждое устройство хранит часть слоёв модели и выполняет вычисления на собственном GPU через WebGPU; скрытые состояния передаются между вкладками браузера по прямым соединениям WebRTC. Чтобы присоединиться, достаточно открыть общую ссылку: устанавливать ничего не нужно, аккаунт не требуется, а инференс не выполняется на сервере.
pooled можно использовать бесплатно? Какая у него лицензия?
pooled распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
pooled всё ещё поддерживается?
Активно поддерживается. Последний коммит в pooled — 3 нояб. 2026 г..
Для чего можно использовать pooled?
Объединить несколько личных устройств, чтобы запускать более крупную открытую модель без облачных аккаунтов. Поделиться одной моделью с небольшой группой друзей или коллег по одной ссылке. Создавать прототипы небольших веб-приложений с помощью встроенного в браузер агента для программирования. Подключить локальные агенты для программирования или код с SDK к модели, запущенной в комнате.
Как установить pooled?
Клонируйте репозиторий: git clone https://github.com/Nehanth/pooled && cd pooled Запустите локальную раздачу папки и откройте страницу комнаты: npx -y serve -l 8080 . Подключитесь к комнате из командной строки, чтобы предоставить компьютер (необязательно): npx @pooled/cli join <ROOM CODE>
Где скачать pooled?
Исходный код и инструкции по установке — на GitHub: https://github.com/Nehanth/pooled

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты