awslabs/awsome-distributed-ai

Что это?

Ключевые возможности

• 01Эталонные архитектуры для SageMaker HyperPod, ParallelCluster, PCS и EKS
• 02Примеры обучения с PyTorch FSDP, Megatron-LM и NeMo
• 03Примеры инференса с vLLM, SGLang и NVIDIA Dynamo
• 04Скрипты Packer и Ansible для создания кастомных AMI
• 05Проверки работоспособности GPU-кластеров и экспортёры метрик EFA
• 06Микробенчмарки для NCCL, NCCOM и NVSHMEM

Сценарии использования

• Развёртывание кластера GPU на AWS под управлением Slurm или Kubernetes для обучения крупных моделей
• Запуск инференса LLM на нескольких узлах с помощью vLLM или SGLang в EKS
• Проверка производительности GPU и сети перед запуском длительных задач обучения
• Профилирование распределённых нагрузок с помощью Nsight и метрик EFA

Быстрый старт

1. 1

   Просмотрите каталог examples и выберите эталонную архитектуру или пример

2. 2

   Ознакомьтесь с README выбранной архитектуры или примера, чтобы узнать инструкции по настройке

3. 3

   Клонируйте репозиторий на локальный компьютер

   git clone https://github.com/awslabs/awsome-distributed-ai.git

Что важно знать

• !Проект рассчитан на кластеры AWS (SageMaker HyperPod, ParallelCluster, PCS, EKS), поэтому без аккаунта AWS и настроенного кластера он бесполезен.
• !Это набор эталонных архитектур и примеров, а не единый устанавливаемый пакет, поэтому установить его одной командой нельзя.

В подборках

Темы

Частые вопросы

Что такое awsome-distributed-ai?

Эталонные архитектуры, шаблоны и примеры для распределённого обучения и инференса AI на кластерах AWS. В этом репозитории собраны эталонные архитектуры, шаблоны развёртывания и готовые к запуску примеры для распределённого обучения и инференса AI на AWS. Рассмотрены платформы для кластеров, включая Amazon SageMaker HyperPod, AWS ParallelCluster, AWS Parallel Computing Service и Amazon EKS; для каждой есть шаблоны CloudFormation и Terraform.

awsome-distributed-ai можно использовать бесплатно? Какая у него лицензия?

awsome-distributed-ai распространяется с открытым исходным кодом под лицензией MIT-0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

awsome-distributed-ai всё ещё поддерживается?

Активно поддерживается. Последний коммит в awsome-distributed-ai — 6 нояб. 2026 г..

Для чего можно использовать awsome-distributed-ai?

Развёртывание кластера GPU на AWS под управлением Slurm или Kubernetes для обучения крупных моделей Запуск инференса LLM на нескольких узлах с помощью vLLM или SGLang в EKS Проверка производительности GPU и сети перед запуском длительных задач обучения Профилирование распределённых нагрузок с помощью Nsight и метрик EFA

Как установить awsome-distributed-ai?

Просмотрите каталог examples и выберите эталонную архитектуру или пример Ознакомьтесь с README выбранной архитектуры или примера, чтобы узнать инструкции по настройке Клонируйте репозиторий на локальный компьютер: git clone https://github.com/awslabs/awsome-distributed-ai.git

Где скачать awsome-distributed-ai?

Исходный код и инструкции по установке — на GitHub: https://github.com/awslabs/awsome-distributed-ai