开源推理引擎,针对你的硬件自动调优内核,让开源模型在 Apple Silicon、NVIDIA、AMD 或纯 CPU 上运行更快。
Nehanth/pooled
在浏览器中通过 WebRTC 汇集多台设备运行大型开源大模型,并内置编程代理。
- Star
- 628
- Fork
- 96
- 未关闭 Issue
- 67
- 最近提交
- 4天前
这是什么?
Pooled 能让一个房间里的多台设备共同运行同一个开源大语言模型。每台设备(笔记本、台式机、手机)承载模型的一部分层,通过自身 GPU 上的 WebGPU 计算,中间状态经由浏览器标签页之间的 WebRTC 直连传递。打开共享链接即可加入,无需安装,也无需账号,推理过程不依赖任何服务器。
项目支持与房间内模型对话,也提供 Code 模式:模型可以编写文件、在沙箱预览中运行,并读取控制台报错后自行修复。房间还可以通过一个小型 CLI 桥接程序,以 OpenAI 和 Anthropic 兼容的 API 对外提供模型,供 Codex CLI、Claude Code 等工具调用。目前支持的模型包括 Qwen 3.6 35B MoE、Qwen 3.8 27B 和小型的 Qwen3 1.7B,另有实验性的 125B Qwen3.8 Flash,可从磁盘按需流式读取专家权重。
项目采用 MIT 许可证,主要使用 JavaScript 编写,WebGPU 内核使用 WGSL。文档包含架构说明、特定硬件上的性能数据,以及威胁模型:房间内的参与者可以看到提示词,中间状态对有能力的对等节点而言并不保密。
核心功能
- 01将模型的层拆分到笔记本、台式机和手机的浏览器标签页中运行。
- 02借助 WebGPU 与自研 WGSL 内核,在每台设备的 GPU 上计算。
- 03设备之间通过 WebRTC 直连传递中间状态,并支持中继回退。
- 04Code 模式可在浏览器内生成、预览并修复小型 Web 应用。
- 05通过 CLI 桥接程序,以 OpenAI 和 Anthropic 兼容接口对外提供房间模型。
适用场景
- 把几台个人设备组合起来,在不使用云端账号的情况下运行更大的开源模型。
- 通过一个链接与小组成员共享同一个模型。
- 借助浏览器内的编程代理快速原型化小型 Web 应用。
- 让本地编程代理或 SDK 代码连接房间内托管的模型。
快速上手
- 1
克隆仓库
git clone https://github.com/Nehanth/pooled && cd pooled - 2
在本地启动静态服务并打开房间页面
npx -y serve -l 8080 . - 3
从命令行加入房间以贡献你的电脑(可选)
npx @pooled/cli join <ROOM CODE>
使用前须知
- 推理需要浏览器支持 WebGPU 的显卡。
- Qwen3.8 Flash 模型处于实验阶段,首次运行需下载约 99 GB。
- 部分公司网络会阻止点对点连接,除非站点配置了中继服务器。
收录于专题
标签
常见问题
- pooled 是什么?
- 在浏览器中通过 WebRTC 汇集多台设备运行大型开源大模型,并内置编程代理。 Pooled 能让一个房间里的多台设备共同运行同一个开源大语言模型。每台设备(笔记本、台式机、手机)承载模型的一部分层,通过自身 GPU 上的 WebGPU 计算,中间状态经由浏览器标签页之间的 WebRTC 直连传递。打开共享链接即可加入,无需安装,也无需账号,推理过程不依赖任何服务器。
- pooled 可以免费使用吗?用的什么许可证?
- pooled 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- pooled 还在维护吗?
- 活跃维护中。pooled 最近一次提交是在 2026年11月3日。
- pooled 适合用来做什么?
- 把几台个人设备组合起来,在不使用云端账号的情况下运行更大的开源模型。 通过一个链接与小组成员共享同一个模型。 借助浏览器内的编程代理快速原型化小型 Web 应用。 让本地编程代理或 SDK 代码连接房间内托管的模型。
- pooled 怎么安装和运行?
- 克隆仓库: git clone https://github.com/Nehanth/pooled && cd pooled 在本地启动静态服务并打开房间页面: npx -y serve -l 8080 . 从命令行加入房间以贡献你的电脑(可选): npx @pooled/cli join <ROOM CODE>
- 在哪里获取 pooled?
- 源代码和安装说明在 GitHub 上:https://github.com/Nehanth/pooled
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
在浏览器中直接运行 Hugging Face Transformers 模型,无需服务器。
一款基于浏览器的文件分享工具,无需云服务器即可在设备间直接传输,并在设定时间后自动删除文件。
把你的多台设备连成一个 AI 集群,在本地运行更大的模型。
将多台机器的 GPU 与内存汇聚成一个兼容 OpenAI 的 API,按需路由到本地或对等节点模型。
基于 Kubernetes 的大语言模型推理平台,可统一部署和服务 vLLM、SGLang、llama.cpp 等多种推理后端。