Repolode
Niko1221

Niko1221/Strata

在消费级 NVIDIA 或 AMD 显卡电脑上运行 Qwen3.8-Flash-Next 大模型,并提供本地 OpenAI/Anthropic 兼容接口。

可替代:ChatGPTClaude

Star
27,379
Fork
2,899
未关闭 Issue
1,326
最近提交
前天

这是什么?

Strata 是一个推理引擎,让大型 Qwen3.8-Flash-Next 模型能在普通游戏电脑上运行,而不必依赖服务器。它支持 Windows 和 Linux,需要 12 GB 及以上显存的 NVIDIA 或 AMD 显卡。一键安装程序会检测硬件并推荐合适的模型规格。模型权重分布在显卡、内存和固态硬盘之间:常用的专家模块留在显卡上,其余按需从内存或硬盘读取。

运行后,Strata 在本机提供 OpenAI 兼容接口,同时支持 Anthropic 风格和 OpenAI Responses 接口,现有应用和 Claude Code 等编程助手只需修改 base URL 即可接入。内置网页界面提供聊天功能,并实时显示 GPU、CPU 和内存占用。模型支持可选的图片输入,并提供多种量化规格以适配不同内存容量。

核心功能

  • 01在 12 GB 及以上显存的 NVIDIA 或 AMD 显卡上运行 1250 亿参数模型。
  • 02在本机提供 OpenAI 兼容、Anthropic 及 OpenAI Responses 接口。
  • 03内置网页聊天界面,并实时监控 GPU、CPU 和内存。
  • 04提供多种量化规格,可根据内存大小选择。
  • 05支持可选的图片输入,并可通过 MCP 服务器被 AI 编程助手调用。

适用场景

  • 在本地运行能力较强的模型辅助编程,代码无需上传云端。
  • 将 Claude Code 或其他 OpenAI 兼容工具指向自己电脑上的模型。
  • 在单张消费级显卡上试验大型量化模型。
  • 将聊天记录和文档保留在本机以保护隐私。

快速上手

  1. 1

    从 GitHub 下载 Strata 并解压

  2. 2

    Windows:双击 START-HERE.bat

    START-HERE.bat
  3. 3

    Linux:在 Strata 文件夹中运行安装脚本

    ./setup.sh
  4. 4

    在浏览器中打开本地地址的应用

使用前须知

  • 需要至少 12 GB 显存的 NVIDIA 或 AMD 显卡,以及 32 GB 或更多内存。
  • 需要约 80 GB 可用磁盘空间,模型下载约 70 GB。
  • 首次启动时,模型加载到内存期间电脑可能卡顿 1-3 分钟。
  • 部分配置(Mac、Intel Arc、Strix Halo、老款显卡)为实验性支持,需要从源码构建。

标签

常见问题

Strata 是什么?
在消费级 NVIDIA 或 AMD 显卡电脑上运行 Qwen3.8-Flash-Next 大模型,并提供本地 OpenAI/Anthropic 兼容接口。 Strata 是一个推理引擎,让大型 Qwen3.8-Flash-Next 模型能在普通游戏电脑上运行,而不必依赖服务器。它支持 Windows 和 Linux,需要 12 GB 及以上显存的 NVIDIA 或 AMD 显卡。一键安装程序会检测硬件并推荐合适的模型规格。模型权重分布在显卡、内存和固态硬盘之间:常用的专家模块留在显卡上,其余按需从内存或硬盘读取。
Strata 可以免费使用吗?用的什么许可证?
Strata 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
Strata 还在维护吗?
活跃维护中。Strata 最近一次提交是在 2026年10月17日。
Strata 适合用来做什么?
在本地运行能力较强的模型辅助编程,代码无需上传云端。 将 Claude Code 或其他 OpenAI 兼容工具指向自己电脑上的模型。 在单张消费级显卡上试验大型量化模型。 将聊天记录和文档保留在本机以保护隐私。
Strata 怎么安装和运行?
从 GitHub 下载 Strata 并解压 Windows:双击 START-HERE.bat: START-HERE.bat Linux:在 Strata 文件夹中运行安装脚本: ./setup.sh 在浏览器中打开本地地址的应用
在哪里获取 Strata?
源代码和安装说明在 GitHub 上:https://github.com/Niko1221/Strata

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目