可自托管的 AI 引擎,兼容 OpenAI 接口,可在 CPU 或各类 GPU 上运行大模型、视觉、语音、图像和视频模型。
- Star
- 27,379
- Fork
- 2,899
- 未关闭 Issue
- 1,326
- 最近提交
- 前天
这是什么?
Strata 是一个推理引擎,让大型 Qwen3.8-Flash-Next 模型能在普通游戏电脑上运行,而不必依赖服务器。它支持 Windows 和 Linux,需要 12 GB 及以上显存的 NVIDIA 或 AMD 显卡。一键安装程序会检测硬件并推荐合适的模型规格。模型权重分布在显卡、内存和固态硬盘之间:常用的专家模块留在显卡上,其余按需从内存或硬盘读取。
运行后,Strata 在本机提供 OpenAI 兼容接口,同时支持 Anthropic 风格和 OpenAI Responses 接口,现有应用和 Claude Code 等编程助手只需修改 base URL 即可接入。内置网页界面提供聊天功能,并实时显示 GPU、CPU 和内存占用。模型支持可选的图片输入,并提供多种量化规格以适配不同内存容量。
核心功能
- 01在 12 GB 及以上显存的 NVIDIA 或 AMD 显卡上运行 1250 亿参数模型。
- 02在本机提供 OpenAI 兼容、Anthropic 及 OpenAI Responses 接口。
- 03内置网页聊天界面,并实时监控 GPU、CPU 和内存。
- 04提供多种量化规格,可根据内存大小选择。
- 05支持可选的图片输入,并可通过 MCP 服务器被 AI 编程助手调用。
适用场景
- 在本地运行能力较强的模型辅助编程,代码无需上传云端。
- 将 Claude Code 或其他 OpenAI 兼容工具指向自己电脑上的模型。
- 在单张消费级显卡上试验大型量化模型。
- 将聊天记录和文档保留在本机以保护隐私。
快速上手
- 1
从 GitHub 下载 Strata 并解压
- 2
Windows:双击 START-HERE.bat
START-HERE.bat - 3
Linux:在 Strata 文件夹中运行安装脚本
./setup.sh - 4
在浏览器中打开本地地址的应用
使用前须知
- 需要至少 12 GB 显存的 NVIDIA 或 AMD 显卡,以及 32 GB 或更多内存。
- 需要约 80 GB 可用磁盘空间,模型下载约 70 GB。
- 首次启动时,模型加载到内存期间电脑可能卡顿 1-3 分钟。
- 部分配置(Mac、Intel Arc、Strix Halo、老款显卡)为实验性支持,需要从源码构建。
标签
常见问题
- Strata 是什么?
- 在消费级 NVIDIA 或 AMD 显卡电脑上运行 Qwen3.8-Flash-Next 大模型,并提供本地 OpenAI/Anthropic 兼容接口。 Strata 是一个推理引擎,让大型 Qwen3.8-Flash-Next 模型能在普通游戏电脑上运行,而不必依赖服务器。它支持 Windows 和 Linux,需要 12 GB 及以上显存的 NVIDIA 或 AMD 显卡。一键安装程序会检测硬件并推荐合适的模型规格。模型权重分布在显卡、内存和固态硬盘之间:常用的专家模块留在显卡上,其余按需从内存或硬盘读取。
- Strata 可以免费使用吗?用的什么许可证?
- Strata 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- Strata 还在维护吗?
- 活跃维护中。Strata 最近一次提交是在 2026年10月17日。
- Strata 适合用来做什么?
- 在本地运行能力较强的模型辅助编程,代码无需上传云端。 将 Claude Code 或其他 OpenAI 兼容工具指向自己电脑上的模型。 在单张消费级显卡上试验大型量化模型。 将聊天记录和文档保留在本机以保护隐私。
- Strata 怎么安装和运行?
- 从 GitHub 下载 Strata 并解压 Windows:双击 START-HERE.bat: START-HERE.bat Linux:在 Strata 文件夹中运行安装脚本: ./setup.sh 在浏览器中打开本地地址的应用
- 在哪里获取 Strata?
- 源代码和安装说明在 GitHub 上:https://github.com/Niko1221/Strata
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
5万4507GoMIT更新于 2小时前
一款开源的 AI 编程代理,可在终端中使用,也提供桌面应用版本。
21.7万2.9万TypeScriptMIT更新于 45分钟前
极简、可扩展的 AI 智能体框架,包含统一的多厂商 LLM API 与终端编程智能体 CLI。
11.6万1.5万TypeScriptMIT更新于 2小时前
开源 AI 编程助手,可在终端、桌面、浏览器或编辑器中读取项目、编辑文件并运行命令和测试。
3.6万2462GoMIT更新于 14小时前
为 Claude Code、Codex 等 AI 编程代理提供规划、测试、审查、记忆与复用技能的 agent 增强系统。
28.3万4.2万JavaScriptMIT更新于 3小时前
在本地或云端运行和管理 Gemma、Qwen、DeepSeek 等开源大模型的工具,提供命令行和 REST API。
18.4万1.8万GoMIT更新于 13小时前