Repolode
simplexai-labs

simplexai-labs/PolyStrata

在自己的 PC 上运行 Qwen3.6、GLM 5.3 Flash、Gemma 4 等大模型,并在本机提供 OpenAI/Anthropic 兼容接口。

Star
891
Fork
126
未关闭 Issue
15
最近提交
前天

这是什么?

PolyStrata 是一个在消费级硬件上运行大型 GGUF 语言模型的本地推理方案。它提供十二个模型,分别跑在两套引擎上:Qwen3.8-Flash-Next 使用 Strata 引擎,适用于 12 GB 及以上的 NVIDIA 或 AMD 显卡;其余十一个模型(包括 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Gemma 4、MiniCPM-V 等)运行在为本项目编写的引擎上。这些模型文件很大,大部分权重留在系统内存中,显卡只保存常用部分。

项目提供 Windows(START-HERE.bat)和 Linux(setup.sh)的一键安装脚本,Apple Silicon 上可构建 Mac 版本(仅支持 Qwen3.8-Flash-Next)。安装程序会检测显卡和内存,推荐模型规格和上下文长度,下载模型并在 127.0.0.1:8080 启动本地服务。服务提供兼容 OpenAI 的 /v1 接口和 Anthropic 风格的 /v1/messages 接口,并自带浏览器聊天界面和实时监控面板。

项目文档给出了各模型在不同硬件上的每秒生成与提示词读取速度。其中自研引擎的模型仍处于实验阶段。

核心功能

  • 01可在本地运行十二个大型开源权重模型,包括 GLM 5.3 Flash、DeepSeek V4 Flash、Qwen3.6 等。
  • 02提供 Windows 和 Linux 一键安装,根据显卡和内存推荐模型规格。
  • 03在本机提供兼容 OpenAI 及 Anthropic 风格的 API,可接入应用和编程助手。
  • 04内置浏览器聊天界面,并可实时查看 GPU、CPU 和内存占用。
  • 05部分模型支持多显卡以及图片输入。

适用场景

  • 让 Claude Code 等编程助手连接一个只在本机运行的模型。
  • 在不便使用云端 API 的情况下,私密地使用大模型聊天。
  • 在一块游戏级显卡加大容量内存的电脑上测试大型 MoE 模型。
  • 无需修改代码,把现有基于 OpenAI 或 Anthropic 的应用指向本地接口。

快速上手

  1. 1

    从 GitHub 下载 PolyStrata 压缩包或克隆仓库

  2. 2

    Windows 系统:在 PolyStrata 文件夹中双击 START-HERE.bat

  3. 3

    Linux 系统:在 PolyStrata 文件夹中运行安装脚本

    ./setup.sh
  4. 4

    等待模型下载并启动,然后打开 http://127.0.0.1:8080

使用前须知

  • 大多数模型需要至少 8 到 12 GB 显存的 NVIDIA 或 AMD 显卡。
  • 十二个模型中有十一个运行在实验性引擎上;GLM 5.3 Flash 和 DeepSeek V4 Flash 需要 32 GB 显卡并且只能在 Linux 上运行。
  • 模型下载体积很大,从 11 GB 到 114 GB 不等,首次启动时电脑可能卡顿 1 到 3 分钟。

收录于专题

标签

常见问题

PolyStrata 是什么?
在自己的 PC 上运行 Qwen3.6、GLM 5.3 Flash、Gemma 4 等大模型,并在本机提供 OpenAI/Anthropic 兼容接口。 PolyStrata 是一个在消费级硬件上运行大型 GGUF 语言模型的本地推理方案。它提供十二个模型,分别跑在两套引擎上:Qwen3.8-Flash-Next 使用 Strata 引擎,适用于 12 GB 及以上的 NVIDIA 或 AMD 显卡;其余十一个模型(包括 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Gemma 4、MiniCPM-V 等)运行在为本项目编写的引擎上。这些模型文件很大,大部分权重留在系统内存中,显卡只保存常用部分。
PolyStrata 可以免费使用吗?用的什么许可证?
PolyStrata 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
PolyStrata 还在维护吗?
活跃维护中。PolyStrata 最近一次提交是在 2026年11月5日。
PolyStrata 适合用来做什么?
让 Claude Code 等编程助手连接一个只在本机运行的模型。 在不便使用云端 API 的情况下,私密地使用大模型聊天。 在一块游戏级显卡加大容量内存的电脑上测试大型 MoE 模型。 无需修改代码,把现有基于 OpenAI 或 Anthropic 的应用指向本地接口。
PolyStrata 怎么安装和运行?
从 GitHub 下载 PolyStrata 压缩包或克隆仓库 Windows 系统:在 PolyStrata 文件夹中双击 START-HERE.bat Linux 系统:在 PolyStrata 文件夹中运行安装脚本: ./setup.sh 等待模型下载并启动,然后打开 http://127.0.0.1:8080
在哪里获取 PolyStrata?
源代码和安装说明在 GitHub 上:https://github.com/simplexai-labs/PolyStrata

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目