Biblioteca y generador de kernels para inferencia de LLM, con APIs unificadas para operaciones de attention, GEMM, MoE y sampling.
6,9 mil+45 esta semana1,7 milCudaApache-2.0Actualizado hace 5 horas
awslabs/awsome-distributed-ai
Arquitecturas de referencia, plantillas y ejemplos para ejecutar entrenamiento e inferencia de IA distribuida en clústeres de AWS.
- Estrellas
- 495
- Forks
- 215
- Issues abiertos
- 38
- Último commit
- hace 11 horas
¿Qué es?
Este repositorio reúne arquitecturas de referencia, plantillas de despliegue y ejemplos ejecutables para entrenamiento e inferencia de IA distribuida en AWS. Incluye plataformas de clústeres como Amazon SageMaker HyperPod, AWS ParallelCluster, AWS Parallel Computing Service y Amazon EKS, con plantillas de CloudFormation y Terraform para cada una.
Los ejemplos abarcan frameworks de entrenamiento como PyTorch DDP y FSDP, Megatron-LM y NeMo, además de motores de serving como vLLM, SGLang y NVIDIA Dynamo. El repositorio también incluye scripts de Packer y Ansible para crear imágenes de máquina personalizadas, herramientas de validación del estado de los clústeres, guías de observabilidad para EFA y Nsight, y microbenchmarks para NCCL, NCCOM y NVSHMEM.
Los equipos que ejecutan entrenamiento o inferencia con GPU en varios nodos en AWS pueden usarlo como punto de partida para configurar clústeres, crear scripts de lanzamiento y ajustar el rendimiento.
Funciones clave
- 01Arquitecturas de referencia para SageMaker HyperPod, ParallelCluster, PCS y EKS
- 02Ejemplos de entrenamiento con PyTorch FSDP, Megatron-LM y NeMo
- 03Ejemplos de inferencia con vLLM, SGLang y NVIDIA Dynamo
- 04Scripts de Packer y Ansible para crear AMI personalizadas
- 05Comprobaciones del estado de clústeres con GPU y exportadores de métricas de EFA
- 06Microbenchmarks para NCCL, NCCOM y NVSHMEM
Casos de uso
- Configurar un clúster de GPU con Slurm o Kubernetes en AWS para entrenar modelos grandes
- Desplegar inferencia de LLM en varios nodos con vLLM o SGLang en EKS
- Validar el rendimiento de GPU y de red antes de ejecutar trabajos de entrenamiento prolongados
- Perfilar cargas de trabajo distribuidas con Nsight y métricas de EFA
Inicio rápido
- 1
Explora el directorio examples para elegir una arquitectura de referencia o un ejemplo
- 2
Lee el README de la arquitectura o el ejemplo elegido para consultar las instrucciones de configuración
- 3
Clona el repositorio en tu equipo local
git clone https://github.com/awslabs/awsome-distributed-ai.git
Antes de usarlo
- Está dirigido a clústeres específicos de AWS (SageMaker HyperPod, ParallelCluster, PCS, EKS), por lo que no resulta útil sin una cuenta de AWS y la configuración de un clúster.
- Es una colección de arquitecturas de referencia y ejemplos, no un único paquete instalable, así que no se puede instalar en un solo paso.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es awsome-distributed-ai?
- Arquitecturas de referencia, plantillas y ejemplos para ejecutar entrenamiento e inferencia de IA distribuida en clústeres de AWS. Este repositorio reúne arquitecturas de referencia, plantillas de despliegue y ejemplos ejecutables para entrenamiento e inferencia de IA distribuida en AWS. Incluye plataformas de clústeres como Amazon SageMaker HyperPod, AWS ParallelCluster, AWS Parallel Computing Service y Amazon EKS, con plantillas de CloudFormation y Terraform para cada una.
- ¿awsome-distributed-ai es gratuito? ¿Qué licencia tiene?
- awsome-distributed-ai es open source bajo la licencia MIT-0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿awsome-distributed-ai sigue mantenido?
- Mantenimiento activo. El último commit de awsome-distributed-ai fue el 6 nov 2026.
- ¿Para qué puedo usar awsome-distributed-ai?
- Configurar un clúster de GPU con Slurm o Kubernetes en AWS para entrenar modelos grandes Desplegar inferencia de LLM en varios nodos con vLLM o SGLang en EKS Validar el rendimiento de GPU y de red antes de ejecutar trabajos de entrenamiento prolongados Perfilar cargas de trabajo distribuidas con Nsight y métricas de EFA
- ¿Cómo se instala awsome-distributed-ai?
- Explora el directorio examples para elegir una arquitectura de referencia o un ejemplo Lee el README de la arquitectura o el ejemplo elegido para consultar las instrucciones de configuración Clona el repositorio en tu equipo local: git clone https://github.com/awslabs/awsome-distributed-ai.git
- ¿Dónde consigo awsome-distributed-ai?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/awslabs/awsome-distributed-ai
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Plataforma nativa de Kubernetes para el entrenamiento distribuido de modelos de IA y el ajuste fino de LLM con PyTorch, JAX, XGBoost y otros frameworks.
2,3 mil+6 esta semana1,1 milGoApache-2.0Bien mantenidoActualizado hace 21 horas
NCCL es la biblioteca de NVIDIA con primitivas optimizadas de comunicación entre GPUs, como all-reduce y all-gather, para entrenamiento en uno o varios nodos.
5,2 mil+17 esta semana1,5 milC++OtherActualizado hace 3 días
Un libro abierto de métodos, scripts y guías paso a paso para entrenar, ajustar y ejecutar inferencias con modelos de lenguaje grandes y multimodales.
19,7 mil+40 esta semana1,3 milPythonCC-BY-SA-4.0Actualizado hace 3 días
Un motor de inferencia LLM para modelos compatibles con Hugging Face, basado en vLLM, con servicio compatible con OpenAI y despliegue distribuido.
IA y Machine Learning#llm-inference#inference-engine#openai-compatible#quantization#speculative-decoding
1,9 mil213PythonAGPL-3.0Bien mantenidoActualizado hace 3 días
Biblioteca de comunicación GPU para dispatch y combine de MoE con paralelismo de expertos, dispatch FP8 y compatibilidad con NVLink/RDMA para entrenamiento e inferencia.
10,4 mil+24 esta semana1,5 milCudaMITActualizado hace 17 días