Repolode
Enviar
kindlingai

kindlingai/gr8

Un motor de inferencia CUDA creado desde cero que ejecuta el modelo completo GLM 5.3 en entre tres y seis equipos DGX Spark (GB10) con una API compatible con OpenAI.

Ver en GitHub
Estrellas
60
Forks
13
Issues abiertos
38
Último commit
hace 4 horas

¿Qué es?

gr8 es un motor de inferencia local para el modelo completo GLM 5.3, una red de mezcla de expertos con 256 expertos, atención MLA con un indexador disperso y una capa MTP. Está creado desde cero en CUDA y se ejecuta en paralelo por tensores en entre tres y seis equipos DGX Spark (GB10), con un proceso por equipo; los rangos se comunican mediante RoCE v2. Al servir el modelo, no depende de vLLM, PyTorch ni NCCL, y el equipo principal ofrece una API compatible con OpenAI en el puerto 8100.

El motor gestiona solicitudes simultáneas compartiendo los pasos de decodificación entre un máximo de ocho sesiones. También usa decodificación especulativa con una capa MTP o un generador DFlash2, y reutiliza los prefijos KV para que, al continuar una conversación, solo procese previamente los tokens nuevos. El KV paralelo por contexto distribuye los contextos largos entre los rangos, y un formato KV int4 experimental junto con nodos KV remotos amplían el contexto utilizable. Los pesos se descargan en cada equipo desde una versión de Hugging Face, y al iniciar se puede elegir entre varias variantes del ancho de los expertos.

El proyecto está en fase beta y está dirigido específicamente a hardware de la clase GB10 (sm_121a, 128 GB de memoria unificada), con opciones de instalación en bare metal, Docker Compose y Kubernetes.

Funciones clave

  • 01Inferencia completa de GLM 5.3 con paralelismo por tensores en entre 3 y 6 equipos GB10 mediante RoCE v2.
  • 02API de chat y completions compatible con OpenAI, alojada en el equipo principal.
  • 03Hasta ocho sesiones simultáneas comparten los pasos de decodificación.
  • 04Decodificación especulativa con MTP o el generador DFlash2.
  • 05Reutilización de prefijos KV para que las conversaciones continuadas procesen previamente solo los tokens nuevos.
  • 06Caché KV int4 experimental y nodos KV remotos para contextos más largos.

Casos de uso

  • Ejecutar en privado un modelo GLM 5.3 de tamaño completo en un clúster pequeño de equipos DGX Spark o GB10.
  • Ofrecer desde hardware local un endpoint compatible con OpenAI para herramientas internas.
  • Estudiar una implementación CUDA de inferencia MoE y MLA creada desde cero.

Inicio rápido

  1. 1

    Lee la guía de implementación y configura las opciones del modelo y de peer o mentat

  2. 2

    Compila el motor y el frontend

    ./gr8 build
  3. 3

    Inicia el modelo en todas las cajas

    ./gr8 glm53 up
  4. 4

    Ejecuta la prueba de humo contra la API de la caja principal

    ./gr8 smoke

Antes de usarlo

  • Requiere de tres a seis cajas DGX Spark (GB10), cada una con 128 GB de memoria; no funciona en hardware convencional.
  • Es una versión beta, así que puede haber errores y cambios incompatibles.
  • Necesita una red RoCE v2 o una configuración de cableado en anillo entre las cajas, además de una LAN con determinados puertos TCP abiertos.
  • Las descargas del modelo son grandes y el uso de disco es de unos 90 GB por caja con TP=4.

En colecciones

Ejecuta LLM en local

Temas

#llm-inference#cuda#glm#moe#tensor-parallelism#openai-compatible#speculative-decoding#local-llm

Preguntas frecuentes

¿Qué es gr8?
Un motor de inferencia CUDA creado desde cero que ejecuta el modelo completo GLM 5.3 en entre tres y seis equipos DGX Spark (GB10) con una API compatible con OpenAI. gr8 es un motor de inferencia local para el modelo completo GLM 5.3, una red de mezcla de expertos con 256 expertos, atención MLA con un indexador disperso y una capa MTP. Está creado desde cero en CUDA y se ejecuta en paralelo por tensores en entre tres y seis equipos DGX Spark (GB10), con un proceso por equipo; los rangos se comunican mediante RoCE v2. Al servir el modelo, no depende de vLLM, PyTorch ni NCCL, y el equipo principal ofrece una API compatible con OpenAI en el puerto 8100.
¿gr8 es gratuito? ¿Qué licencia tiene?
gr8 es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿gr8 sigue mantenido?
Mantenimiento activo. El último commit de gr8 fue el 6 nov 2026.
¿Para qué puedo usar gr8?
Ejecutar en privado un modelo GLM 5.3 de tamaño completo en un clúster pequeño de equipos DGX Spark o GB10. Ofrecer desde hardware local un endpoint compatible con OpenAI para herramientas internas. Estudiar una implementación CUDA de inferencia MoE y MLA creada desde cero.
¿Cómo se instala gr8?
Lee la guía de implementación y configura las opciones del modelo y de peer o mentat Compila el motor y el frontend: ./gr8 build Inicia el modelo en todas las cajas: ./gr8 glm53 up Ejecuta la prueba de humo contra la API de la caja principal: ./gr8 smoke
¿Dónde consigo gr8?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/kindlingai/gr8

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados