ai-dynamo/dynamo

어떤 프로젝트인가요?

핵심 기능

• 01독립적으로 확장할 수 있는 GPU 풀에서 프리필과 디코드를 분리해 처리
• 02중복 프리필 연산을 줄이는 KV 인식 라우팅
• 03GPU, CPU, SSD 및 원격 스토리지 간 KV 캐시 오프로딩
• 04지연 시간 목표에 맞춰 레플리카를 자동 확장하는 SLA 기반 플래너
• 05OpenAI 호환 API 프런트엔드
• 06SGLang, TensorRT-LLM 및 vLLM 백엔드 지원

활용 사례

• Kubernetes 클러스터에서 여러 GPU 또는 노드에 걸쳐 대형 모델 서빙
• 프롬프트 접두부를 공유하는 워크로드의 첫 토큰 생성 시간 단축
• 각 단계에 적합한 하드웨어를 사용하도록 프리필 풀과 디코드 풀을 분리해 운영
• 인코딩을 분리해 멀티모달 또는 비디오 생성 모델 배포

빠른 시작

1. 1

   미리 빌드된 vLLM 런타임 컨테이너를 pull합니다

   docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime:
2. 2

   README 빠른 시작에서 SGLang 또는 vLLM 옵션을 선택하고 안내된 단계를 따릅니다

사용 전 알아둘 점

• !멀티 GPU 및 멀티 노드 데이터센터 배포용입니다. 단일 GPU에서 모델 하나만 실행한다면 보통 추론 엔진만 사용하는 편이 더 적합합니다.
• !DGDR 제로 구성 배포와 SGLang의 KVBM 등 일부 기능은 베타 버전이거나 부분적으로만 지원됩니다.
• !메타데이터에 라이선스가 NOASSERTION으로 표시되어 있으므로 사용하기 전에 저장소의 라이선스 조건을 확인하세요.

포함된 컬렉션

토픽

자주 묻는 질문

dynamo은(는) 무엇인가요?

여러 GPU와 노드에서 vLLM, SGLang, TensorRT-LLM을 오케스트레이션하는 데이터센터 규모의 분산 추론 서빙 프레임워크입니다. Dynamo는 vLLM, SGLang, TensorRT-LLM 같은 추론 엔진을 대체하는 대신 그 위에서 동작하는 오케스트레이션 계층입니다. GPU 클러스터를 하나의 조율된 추론 시스템으로 구성하고, 분리된 프리필과 디코드, KV 캐시를 고려한 요청 라우팅, 다단계 KV 캐시 오프로딩, SLA 기반 오토스케일링을 처리합니다.

dynamo은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

dynamo은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

dynamo은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. dynamo의 마지막 커밋은 2026년 10월 24일입니다.

dynamo은(는) 어디에 사용할 수 있나요?

Kubernetes 클러스터에서 여러 GPU 또는 노드에 걸쳐 대형 모델 서빙 프롬프트 접두부를 공유하는 워크로드의 첫 토큰 생성 시간 단축 각 단계에 적합한 하드웨어를 사용하도록 프리필 풀과 디코드 풀을 분리해 운영 인코딩을 분리해 멀티모달 또는 비디오 생성 모델 배포

dynamo는 어떻게 설치하나요?

미리 빌드된 vLLM 런타임 컨테이너를 pull합니다: docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime: README 빠른 시작에서 SGLang 또는 vLLM 옵션을 선택하고 안내된 단계를 따릅니다

dynamo은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ai-dynamo/dynamo