mw00/project-maya

这是什么？

核心功能

• 01分层专家存储：常用专家放在显存，其次放内存，其余放在 NVMe SSD 上按需读取，并随对话动态搬运。
• 02自带 GLM-5.3-Flash 的多档量化（Maya-S/S24/M/M-Derisked/L），另有 DeepSeek 与实验性 MiniMax 的独立引擎。
• 03提供 OpenAI 风格的 /v1 与 Anthropic 风格的 /v1/messages 接口，可直接接入 Claude Code 等编码代理。
• 04/v1/responses 支持文本与图像对话、流式输出、函数工具调用、schema 校验输出和可取消的后台任务。
• 05内置浏览器聊天界面（每会话指令、编辑重生成、HTML 预览）与显示模型和硬件状态的实时监控。
• 06支持 1 至 16 张 NVIDIA 显卡（计算能力 7.0 及以上），AMD ROCm 7 与 Windows 10/11 为实验性支持。
• 07Off、Low、High、Max 四档思考等级，可全局或按请求设置，并允许最多 8 个请求并发推理。
• 08KV streaming 把注意力缓存留在内存、窗口留在显存，单张 RTX 3090 即可运行 1M Token 上下文。
• 09--calibrate 用 10–15 分钟针对硬件调参，--report 生成包含硬件与速度信息的报告用于排查问题。

适用场景

• 在自有工作站或小型服务器上私有部署大 MoE 模型，数据不离开本机。
• 通过 Anthropic 兼容端点把 Claude Code 等编码代理接到本地模型上。
• 用并发请求让多名开发者或多个代理会话共用一台机器。
• 借助 KV streaming 在单张消费级显卡上处理 1M Token 级别的长文档对话。
• 在下载前对比不同量化档位的准确率保留与显存占用。
• 在 AMD 显卡或 Windows 工作站上尝试本地大模型推理，而不必准备 Linux CUDA 机器。

快速上手

1. 1

   克隆仓库并进入其文件夹

2. 2

   运行安装脚本并选择模型

   ./setup.sh --setup
3. 3

   启动服务并在浏览器中聊天

使用前须知

• !需要性能较强的 NVIDIA GPU 配置，AMD 和 Windows 支持仍处于实验阶段。
• !模型文件非常大，从约 94 GB 到 500 GB 以上不等，需要快速的本地存储。
• !部分模型选项（如 Maya-M-Derisked 和 MiniMax-M3.1-Flash）标注为实验性。

收录于专题

标签

常见问题

project-maya 是什么？

在自有 GPU 上私有运行 GLM-5.3-Flash 等大型 MoE 模型的本地推理引擎 Project Maya 是一套本地 LLM 推理引擎与服务，让开发者在已有硬件上私有运行通常需要数据中心的 MoE 模型，例如 GLM-5.3-Flash（321B，约 18B 激活/Token）和 DeepSeek-V4.1-Flash-1017（748B）。引擎把最常用的专家留在 GPU 显存、次常用的放在内存、其余放在 NVMe SSD 上按需读取，并在启动时测量 GPU、CPU、内存和 SSD 自动调参。

project-maya 可以免费使用吗？用的什么许可证？

project-maya 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

project-maya 还在维护吗？

活跃维护中。project-maya 最近一次提交是在 2026年11月7日。

project-maya 适合用来做什么？

在自有工作站或小型服务器上私有部署大 MoE 模型，数据不离开本机。 通过 Anthropic 兼容端点把 Claude Code 等编码代理接到本地模型上。 用并发请求让多名开发者或多个代理会话共用一台机器。 借助 KV streaming 在单张消费级显卡上处理 1M Token 级别的长文档对话。 在下载前对比不同量化档位的准确率保留与显存占用。 在 AMD 显卡或 Windows 工作站上尝试本地大模型推理，而不必准备 Linux CUDA 机器。

project-maya 怎么安装和运行？

克隆仓库并进入其文件夹 运行安装脚本并选择模型: ./setup.sh --setup 启动服务并在浏览器中聊天

在哪里获取 project-maya？

源代码和安装说明在 GitHub 上：https://github.com/mw00/project-maya