kindlingai/gr8

어떤 프로젝트인가요?

핵심 기능

• 01RoCE v2를 통해 GB10 장비 3~6대에서 텐서 병렬 방식으로 전체 GLM 5.3 추론을 실행합니다.
• 02헤드 노드에서 OpenAI 호환 채팅 및 completions API를 제공합니다.
• 03최대 8개의 동시 세션이 디코드 단계를 공유합니다.
• 04MTP 또는 DFlash2 drafter를 이용한 추측 디코딩을 지원합니다.
• 05KV 프리픽스를 재사용해 대화를 이어갈 때 새 토큰만 프리필합니다.
• 06더 긴 컨텍스트를 위한 실험적 int4 KV 캐시와 원격 KV 노드를 지원합니다.

활용 사례

• DGX Spark 또는 GB10 장비로 구성한 소규모 클러스터에서 전체 크기의 GLM 5.3 모델을 비공개로 실행합니다.
• 로컬 하드웨어에서 내부 도구용 OpenAI 호환 엔드포인트를 제공합니다.
• MoE 및 MLA 추론을 처음부터 CUDA로 구현한 사례를 살펴봅니다.

빠른 시작

1. 1

   배포 가이드를 읽고 모델 및 peer 또는 mentat 옵션을 설정합니다

2. 2

   엔진과 프런트엔드를 빌드합니다

   ./gr8 build
3. 3

   모든 박스에서 모델을 시작합니다

   ./gr8 glm53 up
4. 4

   헤드 박스의 API를 대상으로 스모크 테스트를 실행합니다

   ./gr8 smoke

사용 전 알아둘 점

• !각각 128 GB 메모리를 갖춘 DGX Spark(GB10) 박스 3~6대가 필요하며, 일반 하드웨어에서는 실행되지 않습니다.
• !베타 릴리스이므로 버그와 호환성을 깨는 변경이 발생할 수 있습니다.
• !박스 간 RoCE v2 패브릭 또는 링 배선 구성이 필요하고, 특정 TCP 포트를 열어 둔 LAN도 필요합니다.
• !모델 다운로드 용량이 크며, TP=4일 때 박스당 약 90 GB의 디스크 공간을 사용합니다.

포함된 컬렉션

토픽

자주 묻는 질문

gr8은(는) 무엇인가요?

처음부터 CUDA로 구현한 추론 엔진으로, DGX Spark(GB10) 3~6대에서 전체 GLM 5.3 모델을 실행하고 OpenAI 호환 API를 제공합니다. gr8은 전체 GLM 5.3 모델을 위한 로컬 추론 엔진입니다. 이 모델은 전문가 256개를 사용하는 혼합 전문가 네트워크로, 희소 인덱서가 포함된 MLA 어텐션과 MTP 레이어 하나를 갖추고 있습니다. gr8은 CUDA로 처음부터 구현했으며, DGX Spark(GB10) 머신 3~6대에서 텐서 병렬 방식으로 실행됩니다. 각 장비에서 프로세스 하나가 동작하고, 랭크 간 통신에는 RoCE v2를 사용합니다. 서빙 시에는 vLLM, PyTorch, NCCL에 의존하지 않으며, 헤드 노드에서 포트 8100으로 OpenAI 호환 API를 제공합니다.

gr8은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

gr8은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

gr8은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. gr8의 마지막 커밋은 2026년 11월 6일입니다.

gr8은(는) 어디에 사용할 수 있나요?

DGX Spark 또는 GB10 장비로 구성한 소규모 클러스터에서 전체 크기의 GLM 5.3 모델을 비공개로 실행합니다. 로컬 하드웨어에서 내부 도구용 OpenAI 호환 엔드포인트를 제공합니다. MoE 및 MLA 추론을 처음부터 CUDA로 구현한 사례를 살펴봅니다.

gr8는 어떻게 설치하나요?

배포 가이드를 읽고 모델 및 peer 또는 mentat 옵션을 설정합니다 엔진과 프런트엔드를 빌드합니다: ./gr8 build 모든 박스에서 모델을 시작합니다: ./gr8 glm53 up 헤드 박스의 API를 대상으로 스모크 테스트를 실행합니다: ./gr8 smoke

gr8은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/kindlingai/gr8