kindlingai/gr8

这是什么？

核心功能

• 01在 3 到 6 台 GB10 机器上通过 RoCE v2 张量并行运行完整 GLM 5.3。
• 02首节点提供兼容 OpenAI 的 chat 与 completions 接口。
• 03最多 8 个并发会话共享解码步。
• 04支持 MTP 与 DFlash2 草稿模型的推测解码。
• 05前缀 KV 复用，续写对话只预填充新增部分。
• 06实验性的 int4 KV 缓存和远程 KV 节点，用于更长上下文。

适用场景

• 在小型 DGX Spark 或 GB10 机器集群上私有化运行完整 GLM 5.3 模型。
• 用本地硬件为内部工具提供兼容 OpenAI 的接口。
• 研究 MoE 与 MLA 推理的从零 CUDA 实现。

快速上手

1. 1

   阅读部署指南，设置模型和节点发现方式（peers 或 mentat）

2. 2

   构建引擎和前端

   ./gr8 build
3. 3

   在每台机器上使用该模型启动

   ./gr8 glm53 up
4. 4

   对头节点的 API 运行冒烟测试

   ./gr8 smoke

使用前须知

• !需要三到六台 DGX Spark（GB10）机器，每台 128 GB 内存，普通硬件无法运行。
• !这是测试版，可能存在缺陷，并可能有破坏性变更。
• !需要 RoCE v2 网络或机器之间的环形连线，以及开放特定 TCP 端口的局域网。
• !模型下载体积大，TP=4 时每台机器约需 90 GB 磁盘空间。

收录于专题

标签

常见问题

gr8 是什么？

一个从零编写的 CUDA 推理引擎，可在 3 到 6 台 DGX Spark（GB10）上张量并行运行完整 GLM 5.3 模型。 gr8 是面向完整 GLM 5.3 模型的本地推理引擎。该模型采用混合专家结构，含 256 个专家，使用带稀疏索引器的 MLA 注意力，并包含一层 MTP。项目用 CUDA 从零实现，在 3 到 6 台 DGX Spark（GB10）机器上做张量并行，每台机器运行一个进程，节点间通过 RoCE v2 通信。服务运行时不依赖 vLLM、PyTorch 或 NCCL，首节点提供兼容 OpenAI 的 API，端口为 8100。

gr8 可以免费使用吗？用的什么许可证？

gr8 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

gr8 还在维护吗？

活跃维护中。gr8 最近一次提交是在 2026年11月6日。

gr8 适合用来做什么？

在小型 DGX Spark 或 GB10 机器集群上私有化运行完整 GLM 5.3 模型。 用本地硬件为内部工具提供兼容 OpenAI 的接口。 研究 MoE 与 MLA 推理的从零 CUDA 实现。

gr8 怎么安装和运行？

阅读部署指南，设置模型和节点发现方式（peers 或 mentat） 构建引擎和前端: ./gr8 build 在每台机器上使用该模型启动: ./gr8 glm53 up 对头节点的 API 运行冒烟测试: ./gr8 smoke

在哪里获取 gr8？

源代码和安装说明在 GitHub 上：https://github.com/kindlingai/gr8