本地或云端运行 Gemma、Qwen、DeepSeek、gpt-oss 等开源大模型的工具,提供命令行、REST API 和 Python/JavaScript 库。
simplexai-labs/PolyStrata
在自己的 PC 上运行 Qwen3.6、GLM 5.3 Flash、Gemma 4 等大模型,并在本机提供 OpenAI/Anthropic 兼容接口。
- Star
- 891
- Fork
- 126
- 未关闭 Issue
- 15
- 最近提交
- 前天
这是什么?
PolyStrata 是一个在消费级硬件上运行大型 GGUF 语言模型的本地推理方案。它提供十二个模型,分别跑在两套引擎上:Qwen3.8-Flash-Next 使用 Strata 引擎,适用于 12 GB 及以上的 NVIDIA 或 AMD 显卡;其余十一个模型(包括 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Gemma 4、MiniCPM-V 等)运行在为本项目编写的引擎上。这些模型文件很大,大部分权重留在系统内存中,显卡只保存常用部分。
项目提供 Windows(START-HERE.bat)和 Linux(setup.sh)的一键安装脚本,Apple Silicon 上可构建 Mac 版本(仅支持 Qwen3.8-Flash-Next)。安装程序会检测显卡和内存,推荐模型规格和上下文长度,下载模型并在 127.0.0.1:8080 启动本地服务。服务提供兼容 OpenAI 的 /v1 接口和 Anthropic 风格的 /v1/messages 接口,并自带浏览器聊天界面和实时监控面板。
项目文档给出了各模型在不同硬件上的每秒生成与提示词读取速度。其中自研引擎的模型仍处于实验阶段。
核心功能
- 01可在本地运行十二个大型开源权重模型,包括 GLM 5.3 Flash、DeepSeek V4 Flash、Qwen3.6 等。
- 02提供 Windows 和 Linux 一键安装,根据显卡和内存推荐模型规格。
- 03在本机提供兼容 OpenAI 及 Anthropic 风格的 API,可接入应用和编程助手。
- 04内置浏览器聊天界面,并可实时查看 GPU、CPU 和内存占用。
- 05部分模型支持多显卡以及图片输入。
适用场景
- 让 Claude Code 等编程助手连接一个只在本机运行的模型。
- 在不便使用云端 API 的情况下,私密地使用大模型聊天。
- 在一块游戏级显卡加大容量内存的电脑上测试大型 MoE 模型。
- 无需修改代码,把现有基于 OpenAI 或 Anthropic 的应用指向本地接口。
快速上手
- 1
从 GitHub 下载 PolyStrata 压缩包或克隆仓库
- 2
Windows 系统:在 PolyStrata 文件夹中双击 START-HERE.bat
- 3
Linux 系统:在 PolyStrata 文件夹中运行安装脚本
./setup.sh - 4
等待模型下载并启动,然后打开 http://127.0.0.1:8080
使用前须知
- 大多数模型需要至少 8 到 12 GB 显存的 NVIDIA 或 AMD 显卡。
- 十二个模型中有十一个运行在实验性引擎上;GLM 5.3 Flash 和 DeepSeek V4 Flash 需要 32 GB 显卡并且只能在 Linux 上运行。
- 模型下载体积很大,从 11 GB 到 114 GB 不等,首次启动时电脑可能卡顿 1 到 3 分钟。
收录于专题
标签
常见问题
- PolyStrata 是什么?
- 在自己的 PC 上运行 Qwen3.6、GLM 5.3 Flash、Gemma 4 等大模型,并在本机提供 OpenAI/Anthropic 兼容接口。 PolyStrata 是一个在消费级硬件上运行大型 GGUF 语言模型的本地推理方案。它提供十二个模型,分别跑在两套引擎上:Qwen3.8-Flash-Next 使用 Strata 引擎,适用于 12 GB 及以上的 NVIDIA 或 AMD 显卡;其余十一个模型(包括 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Gemma 4、MiniCPM-V 等)运行在为本项目编写的引擎上。这些模型文件很大,大部分权重留在系统内存中,显卡只保存常用部分。
- PolyStrata 可以免费使用吗?用的什么许可证?
- PolyStrata 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- PolyStrata 还在维护吗?
- 活跃维护中。PolyStrata 最近一次提交是在 2026年11月5日。
- PolyStrata 适合用来做什么?
- 让 Claude Code 等编程助手连接一个只在本机运行的模型。 在不便使用云端 API 的情况下,私密地使用大模型聊天。 在一块游戏级显卡加大容量内存的电脑上测试大型 MoE 模型。 无需修改代码,把现有基于 OpenAI 或 Anthropic 的应用指向本地接口。
- PolyStrata 怎么安装和运行?
- 从 GitHub 下载 PolyStrata 压缩包或克隆仓库 Windows 系统:在 PolyStrata 文件夹中双击 START-HERE.bat Linux 系统:在 PolyStrata 文件夹中运行安装脚本: ./setup.sh 等待模型下载并启动,然后打开 http://127.0.0.1:8080
- 在哪里获取 PolyStrata?
- 源代码和安装说明在 GitHub 上:https://github.com/simplexai-labs/PolyStrata
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
面向消费级硬件的原生推理引擎,用于在 Metal、CUDA 和 ROCm 上运行 DeepSeek V4 Flash 等少数大模型。
用 Rust 编写的 LLM 推理服务器,面向显存放不下的混合专家(MoE)模型,兼容 llama-server 接口。
面向 Apple Silicon 的自托管 MLX 推理服务,提供 OpenAI、Anthropic 和 Ollama 兼容接口,可运行 LLM、VLM 与图像生成模型。
单文件本地运行 GGUF 大模型的工具,内置 KoboldAI 网页界面,支持文本、图像、语音和音乐生成。
在自有 GPU 上私有运行 GLM-5.3-Flash 等大型 MoE 模型的本地推理引擎