kindlingai/gr8

Что это?

Ключевые возможности

• 01Полный инференс GLM 5.3 с тензорным параллелизмом на 3–6 узлах GB10 через RoCE v2.
• 02API чата и генерации, совместимый с OpenAI, на головном узле.
• 03До восьми параллельных сессий совместно используют шаги декодирования.
• 04Спекулятивное декодирование с MTP или моделью DFlash2 для черновой генерации.
• 05Повторное использование префиксов KV: при продолжении диалога предварительно обрабатываются только новые токены.
• 06Экспериментальный кэш KV в формате int4 и удалённые узлы KV для работы с более длинными контекстами.

Сценарии использования

• Локальный запуск полноразмерной модели GLM 5.3 на небольшом кластере DGX Spark или машин GB10 с сохранением данных внутри инфраструктуры.
• Предоставление внутренних инструментам API, совместимого с OpenAI, на локальном оборудовании.
• Изучение реализации инференса MoE и MLA, созданной с нуля на CUDA.

Быстрый старт

1. 1

   Прочитайте руководство по развертыванию и задайте параметры модели и peer или mentat

2. 2

   Соберите движок и фронтенд

   ./gr8 build
3. 3

   Запустите модель на каждом боксе

   ./gr8 glm53 up
4. 4

   Выполните дымовой тест API головного бокса

   ./gr8 smoke

Что важно знать

• !Требуется от трёх до шести боксов DGX Spark (GB10) с 128 GB памяти каждый; на обычном оборудовании система не запустится.
• !Это бета-версия, поэтому возможны ошибки и несовместимые изменения.
• !Между боксами нужна сеть RoCE v2 или кольцевая схема подключения кабелями, а также LAN с открытыми определёнными TCP-портами.
• !Загрузка модели занимает много места; при TP=4 требуется около 90 GB на диске каждого бокса.

В подборках

Темы

Частые вопросы

Что такое gr8?

Созданный с нуля на CUDA движок инференса запускает полную модель GLM 5.3 на трёх–шести DGX Spark (GB10) с API, совместимым с OpenAI. gr8 — локальный движок инференса для полной модели GLM 5.3: сети со смесью экспертов (256 экспертов), вниманием MLA с разреженным индексатором и одним слоем MTP. Движок написан с нуля на CUDA и работает с тензорным параллелизмом на трёх–шести машинах DGX Spark (GB10), по одному процессу на каждую, а ранги обмениваются данными через RoCE v2. Во время обслуживания запросов движок не зависит от vLLM, PyTorch или NCCL, а на головном узле предоставляет API, совместимый с OpenAI, на порту 8100.

gr8 можно использовать бесплатно? Какая у него лицензия?

gr8 распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

gr8 всё ещё поддерживается?

Активно поддерживается. Последний коммит в gr8 — 6 нояб. 2026 г..

Для чего можно использовать gr8?

Локальный запуск полноразмерной модели GLM 5.3 на небольшом кластере DGX Spark или машин GB10 с сохранением данных внутри инфраструктуры. Предоставление внутренних инструментам API, совместимого с OpenAI, на локальном оборудовании. Изучение реализации инференса MoE и MLA, созданной с нуля на CUDA.

Как установить gr8?

Прочитайте руководство по развертыванию и задайте параметры модели и peer или mentat Соберите движок и фронтенд: ./gr8 build Запустите модель на каждом боксе: ./gr8 glm53 up Выполните дымовой тест API головного бокса: ./gr8 smoke

Где скачать gr8?

Исходный код и инструкции по установке — на GitHub: https://github.com/kindlingai/gr8