Repolode
Nehanth

Nehanth/pooled

在浏览器中通过 WebRTC 汇集多台设备运行大型开源大模型,并内置编程代理。

Star
628
Fork
96
未关闭 Issue
67
最近提交
4天前

这是什么?

Pooled 能让一个房间里的多台设备共同运行同一个开源大语言模型。每台设备(笔记本、台式机、手机)承载模型的一部分层,通过自身 GPU 上的 WebGPU 计算,中间状态经由浏览器标签页之间的 WebRTC 直连传递。打开共享链接即可加入,无需安装,也无需账号,推理过程不依赖任何服务器。

项目支持与房间内模型对话,也提供 Code 模式:模型可以编写文件、在沙箱预览中运行,并读取控制台报错后自行修复。房间还可以通过一个小型 CLI 桥接程序,以 OpenAI 和 Anthropic 兼容的 API 对外提供模型,供 Codex CLI、Claude Code 等工具调用。目前支持的模型包括 Qwen 3.6 35B MoE、Qwen 3.8 27B 和小型的 Qwen3 1.7B,另有实验性的 125B Qwen3.8 Flash,可从磁盘按需流式读取专家权重。

项目采用 MIT 许可证,主要使用 JavaScript 编写,WebGPU 内核使用 WGSL。文档包含架构说明、特定硬件上的性能数据,以及威胁模型:房间内的参与者可以看到提示词,中间状态对有能力的对等节点而言并不保密。

核心功能

  • 01将模型的层拆分到笔记本、台式机和手机的浏览器标签页中运行。
  • 02借助 WebGPU 与自研 WGSL 内核,在每台设备的 GPU 上计算。
  • 03设备之间通过 WebRTC 直连传递中间状态,并支持中继回退。
  • 04Code 模式可在浏览器内生成、预览并修复小型 Web 应用。
  • 05通过 CLI 桥接程序,以 OpenAI 和 Anthropic 兼容接口对外提供房间模型。

适用场景

  • 把几台个人设备组合起来,在不使用云端账号的情况下运行更大的开源模型。
  • 通过一个链接与小组成员共享同一个模型。
  • 借助浏览器内的编程代理快速原型化小型 Web 应用。
  • 让本地编程代理或 SDK 代码连接房间内托管的模型。

快速上手

  1. 1

    克隆仓库

    git clone https://github.com/Nehanth/pooled && cd pooled
  2. 2

    在本地启动静态服务并打开房间页面

    npx -y serve -l 8080 .
  3. 3

    从命令行加入房间以贡献你的电脑(可选)

    npx @pooled/cli join <ROOM CODE>

使用前须知

  • 推理需要浏览器支持 WebGPU 的显卡。
  • Qwen3.8 Flash 模型处于实验阶段,首次运行需下载约 99 GB。
  • 部分公司网络会阻止点对点连接,除非站点配置了中继服务器。

收录于专题

标签

常见问题

pooled 是什么?
在浏览器中通过 WebRTC 汇集多台设备运行大型开源大模型,并内置编程代理。 Pooled 能让一个房间里的多台设备共同运行同一个开源大语言模型。每台设备(笔记本、台式机、手机)承载模型的一部分层,通过自身 GPU 上的 WebGPU 计算,中间状态经由浏览器标签页之间的 WebRTC 直连传递。打开共享链接即可加入,无需安装,也无需账号,推理过程不依赖任何服务器。
pooled 可以免费使用吗?用的什么许可证?
pooled 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
pooled 还在维护吗?
活跃维护中。pooled 最近一次提交是在 2026年11月3日。
pooled 适合用来做什么?
把几台个人设备组合起来,在不使用云端账号的情况下运行更大的开源模型。 通过一个链接与小组成员共享同一个模型。 借助浏览器内的编程代理快速原型化小型 Web 应用。 让本地编程代理或 SDK 代码连接房间内托管的模型。
pooled 怎么安装和运行?
克隆仓库: git clone https://github.com/Nehanth/pooled && cd pooled 在本地启动静态服务并打开房间页面: npx -y serve -l 8080 . 从命令行加入房间以贡献你的电脑(可选): npx @pooled/cli join <ROOM CODE>
在哪里获取 pooled?
源代码和安装说明在 GitHub 上:https://github.com/Nehanth/pooled

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目