Repolode
Enviar
kindlingai

kindlingai/gr8

Um mecanismo de inferência CUDA desenvolvido do zero que executa o modelo GLM 5.3 completo em três a seis máquinas DGX Spark (GB10), com uma API compatível com OpenAI.

Ver no GitHub
Estrelas
60
Forks
13
Issues abertas
38
Último commit
há 4 horas

O que é?

gr8 é um mecanismo de inferência local para o modelo GLM 5.3 completo, uma rede de mistura de especialistas com 256 especialistas, atenção MLA com um indexador esparso e uma camada MTP. Desenvolvido do zero em CUDA, ele executa em paralelo por tensores em três a seis máquinas DGX Spark (GB10), com um processo por máquina e comunicação entre os ranks por RoCE v2. Durante a execução do serviço, não depende de vLLM, PyTorch ou NCCL, e a máquina principal disponibiliza uma API compatível com OpenAI na porta 8100.

O mecanismo processa requisições simultâneas compartilhando etapas de decode entre até oito sessões, usa speculative decoding com uma camada MTP ou um drafter DFlash2 e reutiliza prefixos KV para que, em uma conversa continuada, apenas os novos tokens precisem passar pelo prefill. O KV com paralelismo de contexto distribui contextos longos entre os ranks, enquanto um formato experimental de KV int4 e nós KV remotos ampliam o contexto utilizável. Os pesos são baixados separadamente em cada máquina a partir de uma release no Hugging Face, com várias variantes de largura de especialistas que podem ser selecionadas na inicialização.

O projeto está em beta e foi desenvolvido especificamente para hardware da classe GB10 (sm_121a, 128 GB de memória unificada), com opções de instalação em bare metal, Docker Compose e Kubernetes.

Recursos principais

  • 01Inferência completa do GLM 5.3 com paralelismo por tensores em 3 a 6 máquinas GB10 via RoCE v2.
  • 02API de chat e completions compatível com OpenAI, disponibilizada pela máquina principal.
  • 03Até oito sessões simultâneas compartilham etapas de decode.
  • 04Speculative decoding com MTP ou o drafter DFlash2.
  • 05Reutilização de prefixos KV para que conversas continuadas façam prefill apenas dos novos tokens.
  • 06Cache KV experimental int4 e nós KV remotos para contextos mais longos.

Casos de uso

  • Executar um modelo GLM 5.3 completo e privado em um pequeno cluster de máquinas DGX Spark ou GB10.
  • Disponibilizar um endpoint compatível com OpenAI para ferramentas internas usando hardware local.
  • Estudar uma implementação CUDA de inferência com MoE e MLA desenvolvida do zero.

Início rápido

  1. 1

    Leia o guia de implantação e defina as opções de modelo e peer ou mentat

  2. 2

    Compile o mecanismo e o front-end

    ./gr8 build
  3. 3

    Inicie o modelo em todas as caixas

    ./gr8 glm53 up
  4. 4

    Execute o teste de fumaça na API da caixa principal

    ./gr8 smoke

Antes de usar

  • Requer de três a seis caixas DGX Spark (GB10), cada uma com 128 GB de memória; não funciona em hardware comum.
  • É uma versão beta, portanto espere bugs e alterações incompatíveis.
  • Requer uma rede RoCE v2 ou uma configuração de cabeamento em anel entre as caixas, além de uma LAN com portas TCP específicas abertas.
  • Os downloads do modelo são grandes e o uso de disco é de cerca de 90 GB por caixa com TP=4.

Em coleções

Rode LLMs localmente

Tópicos

#llm-inference#cuda#glm#moe#tensor-parallelism#openai-compatible#speculative-decoding#local-llm

Perguntas frequentes

O que é gr8?
Um mecanismo de inferência CUDA desenvolvido do zero que executa o modelo GLM 5.3 completo em três a seis máquinas DGX Spark (GB10), com uma API compatível com OpenAI. gr8 é um mecanismo de inferência local para o modelo GLM 5.3 completo, uma rede de mistura de especialistas com 256 especialistas, atenção MLA com um indexador esparso e uma camada MTP. Desenvolvido do zero em CUDA, ele executa em paralelo por tensores em três a seis máquinas DGX Spark (GB10), com um processo por máquina e comunicação entre os ranks por RoCE v2. Durante a execução do serviço, não depende de vLLM, PyTorch ou NCCL, e a máquina principal disponibiliza uma API compatível com OpenAI na porta 8100.
gr8 é gratuito? Qual é a licença?
gr8 é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
gr8 ainda é mantido?
Manutenção ativa. O último commit de gr8 foi em 6 de nov. de 2026.
Para que posso usar gr8?
Executar um modelo GLM 5.3 completo e privado em um pequeno cluster de máquinas DGX Spark ou GB10. Disponibilizar um endpoint compatível com OpenAI para ferramentas internas usando hardware local. Estudar uma implementação CUDA de inferência com MoE e MLA desenvolvida do zero.
Como instalar gr8?
Leia o guia de implantação e defina as opções de modelo e peer ou mentat Compile o mecanismo e o front-end: ./gr8 build Inicie o modelo em todas as caixas: ./gr8 glm53 up Execute o teste de fumaça na API da caixa principal: ./gr8 smoke
Onde consigo gr8?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/kindlingai/gr8

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados