Uma camada de gerenciamento de cache KV que armazena, compartilha e reutiliza caches de atenção de LLMs entre mecanismos de serving para reduzir o time-to-first-token.
12,2 mil+9 esta semana2,1 milPythonApache-2.0Atualizado há 10 horas
ai-dynamo/dynamo
Framework de serving distribuído para inferência em escala de datacenter, que orquestra vLLM, SGLang e TensorRT-LLM em várias GPUs e nós.
- Estrelas
- 8,382
- Forks
- 1,755
- Issues abertas
- 2,142
- Último commit
- há 7 horas
O que é?
Dynamo é uma camada de orquestração que fica acima de engines de inferência como vLLM, SGLang e TensorRT-LLM, em vez de substituí-las. Ele transforma um cluster de GPUs em um sistema de inferência coordenado, gerenciando prefill e decode desagregados, roteamento de requisições com consciência do KV cache, offloading de KV cache em vários níveis e autoscaling orientado por SLA.
O projeto é escrito em Rust para o runtime principal e usa Python para extensibilidade. Ele oferece um frontend HTTP compatível com OpenAI e pode ser executado a partir de containers pré-compilados, instalado pelo PyPI ou implantado no Kubernetes com um recurso customizado para implantar modelos sem configuração.
O foco são workloads de LLM, raciocínio, multimodalidade e geração de vídeo em que uma única engine em uma única GPU já não é suficiente.
Recursos principais
- 01Prefill e decode desagregados em pools de GPUs que podem ser escalados de forma independente
- 02Roteamento com consciência do KV cache que reduz cálculos redundantes de prefill
- 03Offloading do KV cache entre GPU, CPU, SSD e armazenamento remoto
- 04Planner baseado em SLA que escala réplicas automaticamente para atingir metas de latência
- 05Frontend de API compatível com OpenAI
- 06Compatibilidade com os backends SGLang, TensorRT-LLM e vLLM
Casos de uso
- Servir modelos grandes em várias GPUs ou nós de um cluster Kubernetes
- Reduzir o tempo até o primeiro token em workloads com prefixos de prompt compartilhados
- Executar pools separados de prefill e decode para adequar o hardware a cada etapa
- Implantar modelos multimodais ou de geração de vídeo com codificação desagregada
Início rápido
- 1
Baixe um container de runtime do vLLM pré-compilado
docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime: - 2
Escolha a opção SGLang ou vLLM no início rápido do README e siga as etapas
Antes de usar
- Projetado para implantações de data center com várias GPUs e vários nós; para executar um único modelo em uma GPU, geralmente é melhor usar apenas o mecanismo de inferência.
- Alguns recursos estão em beta ou são parcialmente compatíveis, como a implantação sem configuração do DGDR e o KVBM no SGLang.
- Os metadados listam a licença como NOASSERTION. Verifique os termos de licença do repositório antes de usar.
Em coleções
Tópicos
Perguntas frequentes
- O que é dynamo?
- Framework de serving distribuído para inferência em escala de datacenter, que orquestra vLLM, SGLang e TensorRT-LLM em várias GPUs e nós. Dynamo é uma camada de orquestração que fica acima de engines de inferência como vLLM, SGLang e TensorRT-LLM, em vez de substituí-las. Ele transforma um cluster de GPUs em um sistema de inferência coordenado, gerenciando prefill e decode desagregados, roteamento de requisições com consciência do KV cache, offloading de KV cache em vários níveis e autoscaling orientado por SLA.
- dynamo é gratuito? Qual é a licença?
- dynamo é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
- dynamo ainda é mantido?
- Manutenção ativa. O último commit de dynamo foi em 24 de out. de 2026.
- Para que posso usar dynamo?
- Servir modelos grandes em várias GPUs ou nós de um cluster Kubernetes Reduzir o tempo até o primeiro token em workloads com prefixos de prompt compartilhados Executar pools separados de prefill e decode para adequar o hardware a cada etapa Implantar modelos multimodais ou de geração de vídeo com codificação desagregada
- Como instalar dynamo?
- Baixe um container de runtime do vLLM pré-compilado: docker run --gpus all --network host --rm -it nvcr.io/nvidia/ai-dynamo/vllm-runtime: Escolha a opção SGLang ou vLLM no início rápido do README e siga as etapas
- Onde consigo dynamo?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ai-dynamo/dynamo
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Código de inferência do EAGLE-4, um sistema de decodificação especulativa que acelera o serving de LLMs no SGLang, vLLM e TokenSpeed.
964+122 esta semana32PythonOtherAtualizado há 17 horas
Plugin para vLLM que adiciona as otimizações de inferência da Snowflake — Shift Parallelism, speculative decoding e SwiftKV — para servir LLMs e gerar embeddings com mais rapidez e menor custo.
491+1 esta semana69PythonApache-2.0Atualizado mês passado
Um operador Kubernetes para implantar e gerenciar o serving de LLMs, com agendamento de GPUs e gerenciamento do ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM e Triton.
520+2 esta semana104GoApache-2.0Atualizado há 12 horas
Plataforma open source e cliente Python que reúne a capacidade ociosa de GPUs e CPUs de várias máquinas em um único plano de controle para executar workloads de IA.
2238TypeScriptApache-2.0Atualizado há 8 dias
Um mecanismo de inferência MoE nativo de edge que executa modelos grandes de pesos abertos, como DeepSeek-V4 e Qwen3.6, em GPUs e CPUs de consumo.
14,7 mil+42 esta semana1,5 milPythonApache-2.0Atualizado há 14 horas