Biblioteca de kernels para GPU e gerador para inferência de LLMs, com APIs unificadas para operações de attention, GEMM, MoE e sampling.
6,9 mil+45 esta semana1,7 milCudaApache-2.0Atualizado há 24 horas
awslabs/awsome-distributed-ai
Arquiteturas de referência, templates e exemplos para executar treinamento e inferência de IA distribuídos em clusters da AWS.
- Estrelas
- 495
- Forks
- 215
- Issues abertas
- 38
- Último commit
- ontem
O que é?
Este repositório reúne arquiteturas de referência, templates de implantação e exemplos executáveis de treinamento e inferência de IA distribuídos na AWS. Abrange plataformas de cluster como Amazon SageMaker HyperPod, AWS ParallelCluster, AWS Parallel Computing Service e Amazon EKS, com templates de CloudFormation e Terraform para cada uma.
Os exemplos incluem frameworks de treinamento como PyTorch DDP e FSDP, Megatron-LM e NeMo, além de engines de serving como vLLM, SGLang e NVIDIA Dynamo. O repositório também inclui scripts de Packer e Ansible para criar imagens de máquina personalizadas, ferramentas de validação da integridade dos clusters, guias de observabilidade para EFA e Nsight e microbenchmarks para NCCL, NCCOM e NVSHMEM.
Equipes que executam treinamento ou inferência multi-node com GPU na AWS podem usar o repositório como ponto de partida para configurar clusters, criar scripts de execução e ajustar o desempenho.
Recursos principais
- 01Arquiteturas de referência para SageMaker HyperPod, ParallelCluster, PCS e EKS
- 02Exemplos de treinamento com PyTorch FSDP, Megatron-LM e NeMo
- 03Exemplos de inferência com vLLM, SGLang e NVIDIA Dynamo
- 04Scripts de Packer e Ansible para AMIs personalizadas
- 05Verificações de integridade de clusters com GPU e exporters de monitoramento para EFA
- 06Microbenchmarks para NCCL, NCCOM e NVSHMEM
Casos de uso
- Configurar um cluster de GPU com Slurm ou Kubernetes na AWS para treinar modelos de grande porte
- Implantar inferência de LLM multi-node com vLLM ou SGLang no EKS
- Validar o desempenho de GPU e da rede antes de executar tarefas longas de treinamento
- Criar perfis de workloads distribuídos com Nsight e métricas de EFA
Início rápido
- 1
Explore o diretório examples para escolher uma arquitetura de referência ou um exemplo
- 2
Leia o README da arquitetura ou do exemplo escolhido para ver as instruções de configuração
- 3
Clone o repositório para sua máquina local
git clone https://github.com/awslabs/awsome-distributed-ai.git
Antes de usar
- É voltado a clusters específicos da AWS (SageMaker HyperPod, ParallelCluster, PCS, EKS), portanto não é útil sem uma conta da AWS e a configuração de um cluster.
- É uma coleção de arquiteturas de referência e exemplos, e não um único pacote instalável; por isso, não há instalação em uma única etapa.
Em coleções
Tópicos
Perguntas frequentes
- O que é awsome-distributed-ai?
- Arquiteturas de referência, templates e exemplos para executar treinamento e inferência de IA distribuídos em clusters da AWS. Este repositório reúne arquiteturas de referência, templates de implantação e exemplos executáveis de treinamento e inferência de IA distribuídos na AWS. Abrange plataformas de cluster como Amazon SageMaker HyperPod, AWS ParallelCluster, AWS Parallel Computing Service e Amazon EKS, com templates de CloudFormation e Terraform para cada uma.
- awsome-distributed-ai é gratuito? Qual é a licença?
- awsome-distributed-ai é open source sob a licença MIT-0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- awsome-distributed-ai ainda é mantido?
- Manutenção ativa. O último commit de awsome-distributed-ai foi em 6 de nov. de 2026.
- Para que posso usar awsome-distributed-ai?
- Configurar um cluster de GPU com Slurm ou Kubernetes na AWS para treinar modelos de grande porte Implantar inferência de LLM multi-node com vLLM ou SGLang no EKS Validar o desempenho de GPU e da rede antes de executar tarefas longas de treinamento Criar perfis de workloads distribuídos com Nsight e métricas de EFA
- Como instalar awsome-distributed-ai?
- Explore o diretório examples para escolher uma arquitetura de referência ou um exemplo Leia o README da arquitetura ou do exemplo escolhido para ver as instruções de configuração Clone o repositório para sua máquina local: git clone https://github.com/awslabs/awsome-distributed-ai.git
- Onde consigo awsome-distributed-ai?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/awslabs/awsome-distributed-ai
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Plataforma nativa do Kubernetes para treinamento distribuído de modelos de IA e fine-tuning de LLMs com PyTorch, JAX, XGBoost e outros frameworks.
2,3 mil+6 esta semana1,1 milGoApache-2.0Bem mantidoAtualizado anteontem
NCCL é a biblioteca da NVIDIA com primitivas otimizadas de comunicação entre GPUs, como all-reduce e all-gather, para treinamento em um ou vários nós.
5,2 mil+17 esta semana1,5 milC++OtherAtualizado há 4 dias
Um livro aberto com métodos, scripts e guias passo a passo para treinar, fazer fine-tuning e executar inferência em modelos de linguagem grandes e multimodais.
19,7 mil+40 esta semana1,3 milPythonCC-BY-SA-4.0Atualizado há 4 dias
Um mecanismo de inferência de LLM para modelos compatíveis com Hugging Face, baseado em vLLM, com serviço compatível com OpenAI e implantação distribuída.
IA e Machine Learning#llm-inference#inference-engine#openai-compatible#quantization#speculative-decoding
1,9 mil213PythonAGPL-3.0Bem mantidoAtualizado há 4 dias
Biblioteca de comunicação GPU para dispatch e combine de MoE com paralelismo de especialistas, FP8 e suporte a NVLink/RDMA para treinamento e inferência.
10,4 mil+24 esta semana1,5 milCudaMITAtualizado há 18 dias