Una capa de gestión de KV cache que almacena, comparte y reutiliza cachés de atención de LLM entre motores de serving para reducir el tiempo hasta el primer token.
12,2 mil+9 esta semana2,1 milPythonApache-2.0Actualizado hace 5 horas
ai-dynamo/dynamo
Framework de serving de inferencia distribuida a escala de centros de datos que coordina vLLM, SGLang y TensorRT-LLM en varias GPU y nodos.
- Estrellas
- 8,382
- Forks
- 1,755
- Issues abiertos
- 2,142
- Último commit
- hace 2 horas
¿Qué es?
Dynamo es una capa de orquestación que se sitúa por encima de motores de inferencia como vLLM, SGLang y TensorRT-LLM, en lugar de sustituirlos. Convierte un clúster de GPU en un sistema de inferencia coordinado que gestiona el prefill y el decode desagregados, el enrutamiento de solicitudes teniendo en cuenta la KV cache, la descarga de la KV cache en varios niveles y el autoescalado según los SLA.
El runtime principal del proyecto está escrito en Rust y usa Python para ofrecer extensibilidad. Expone un frontend HTTP compatible con OpenAI y se puede ejecutar con contenedores precompilados, instalar desde PyPI o desplegar en Kubernetes con un recurso personalizado que permite implementar modelos sin configuración.
Está dirigido a cargas de trabajo de LLM, razonamiento, multimodales y generación de video para las que un solo motor en una sola GPU ya no es suficiente.
Funciones clave
- 01Prefill y decode desagregados en grupos de GPU que se pueden escalar de forma independiente
- 02Enrutamiento que tiene en cuenta la KV y reduce los cálculos de prefill redundantes
- 03Descarga de la KV cache entre GPU, CPU, SSD y almacenamiento remoto
- 04Planificador basado en SLA que autoescala las réplicas para cumplir objetivos de latencia
- 05Frontend de API compatible con OpenAI
- 06Compatible con los backends SGLang, TensorRT-LLM y vLLM
Casos de uso
- Servir modelos grandes en varias GPU o nodos de un clúster de Kubernetes
- Reducir el tiempo hasta el primer token en cargas de trabajo con prefijos de prompt compartidos
- Ejecutar grupos separados para prefill y decode y adaptar el hardware a cada fase
- Implementar modelos multimodales o de generación de video con codificación desagregada
Inicio rápido
- 1
Descarga un contenedor de runtime de vLLM precompilado
docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime: - 2
Elige la opción de SGLang o vLLM en la guía de inicio rápido del README y sigue sus pasos
Antes de usarlo
- Está pensado para implementaciones de centros de datos con varias GPU y varios nodos; para ejecutar un solo modelo en una GPU, normalmente es mejor usar únicamente el motor de inferencia.
- Algunas funciones están en fase beta o son parciales, como el despliegue sin configuración de DGDR y KVBM en SGLang.
- Los metadatos indican NOASSERTION como licencia, así que consulta las condiciones de licencia del repositorio antes de usarlo.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es dynamo?
- Framework de serving de inferencia distribuida a escala de centros de datos que coordina vLLM, SGLang y TensorRT-LLM en varias GPU y nodos. Dynamo es una capa de orquestación que se sitúa por encima de motores de inferencia como vLLM, SGLang y TensorRT-LLM, en lugar de sustituirlos. Convierte un clúster de GPU en un sistema de inferencia coordinado que gestiona el prefill y el decode desagregados, el enrutamiento de solicitudes teniendo en cuenta la KV cache, la descarga de la KV cache en varios niveles y el autoescalado según los SLA.
- ¿dynamo es gratuito? ¿Qué licencia tiene?
- dynamo es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿dynamo sigue mantenido?
- Mantenimiento activo. El último commit de dynamo fue el 24 oct 2026.
- ¿Para qué puedo usar dynamo?
- Servir modelos grandes en varias GPU o nodos de un clúster de Kubernetes Reducir el tiempo hasta el primer token en cargas de trabajo con prefijos de prompt compartidos Ejecutar grupos separados para prefill y decode y adaptar el hardware a cada fase Implementar modelos multimodales o de generación de video con codificación desagregada
- ¿Cómo se instala dynamo?
- Descarga un contenedor de runtime de vLLM precompilado: docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime: Elige la opción de SGLang o vLLM en la guía de inicio rápido del README y sigue sus pasos
- ¿Dónde consigo dynamo?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ai-dynamo/dynamo
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Código de inferencia para EAGLE-4, un sistema de decodificación especulativa que acelera el servicio de LLM en SGLang, vLLM y TokenSpeed.
964+122 esta semana32PythonOtherActualizado hace 12 horas
Plugin para vLLM que incorpora optimizaciones de inferencia de Snowflake (Shift Parallelism, speculative decoding y SwiftKV) para servir LLM y embeddings de forma más rápida y económica.
491+1 esta semana69PythonApache-2.0Actualizado el mes pasado
Un operador de Kubernetes para desplegar y gestionar servicios de inferencia de LLM, con planificación de GPU y gestión del ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM y Triton.
520+2 esta semana104GoApache-2.0Actualizado hace 7 horas
Plataforma de código abierto y cliente de Python que reúne capacidad de GPU y CPU disponible en varias máquinas en un único plano de control para ejecutar cargas de trabajo de IA.
2238TypeScriptApache-2.0Actualizado hace 7 días
Un motor de serving nativo para el edge que ejecuta grandes modelos de pesos abiertos, como DeepSeek-V4 y Qwen3.6, en GPU y CPU de consumo.
14,7 mil+42 esta semana1,5 milPythonApache-2.0Actualizado hace 9 horas