awslabs/awsome-distributed-ai

这是什么？

核心功能

• 01覆盖 SageMaker HyperPod、ParallelCluster、PCS 和 EKS 的参考架构
• 02提供 PyTorch FSDP、Megatron-LM、NeMo 的训练示例
• 03提供 vLLM、SGLang、NVIDIA Dynamo 的推理示例
• 04使用 Packer 和 Ansible 构建自定义 AMI
• 05包含 GPU 集群健康检查和 EFA 监控工具
• 06提供 NCCL、NCCOM、NVSHMEM 的微基准测试

适用场景

• 在 AWS 上搭建用于大模型训练的 Slurm 或 Kubernetes GPU 集群
• 在 EKS 上部署基于 vLLM 或 SGLang 的多节点大模型推理
• 在运行长时间训练任务前验证 GPU 和网络性能
• 结合 Nsight 与 EFA 指标分析分布式工作负载

快速上手

1. 1

   浏览 examples 目录，选择参考架构或示例

2. 2

   阅读所选架构或示例的 README 以获取设置说明

3. 3

   将仓库克隆到本地

   git clone https://github.com/awslabs/awsome-distributed-ai.git

使用前须知

• !主要面向 AWS 专用集群（SageMaker HyperPod、ParallelCluster、PCS、EKS），没有 AWS 账户和集群环境则用处有限。
• !这是一组参考架构和示例，而不是可直接安装的单一软件包，因此没有一步安装方式。

收录于专题

标签

常见问题

awsome-distributed-ai 是什么？

在 AWS 上运行分布式 AI 训练与推理的参考架构、模板和示例集合。 该仓库汇集了在 AWS 上进行分布式 AI 训练与推理的参考架构、部署模板和可运行示例。支持的集群平台包括 Amazon SageMaker HyperPod、AWS ParallelCluster、AWS Parallel Computing Service 和 Amazon EKS，每个平台都提供 CloudFormation 或 Terraform 模板。

awsome-distributed-ai 可以免费使用吗？用的什么许可证？

awsome-distributed-ai 以 MIT-0 许可证开源。用于商业产品前，请先确认许可证条款。

awsome-distributed-ai 还在维护吗？

活跃维护中。awsome-distributed-ai 最近一次提交是在 2026年11月6日。

awsome-distributed-ai 适合用来做什么？

在 AWS 上搭建用于大模型训练的 Slurm 或 Kubernetes GPU 集群 在 EKS 上部署基于 vLLM 或 SGLang 的多节点大模型推理 在运行长时间训练任务前验证 GPU 和网络性能 结合 Nsight 与 EFA 指标分析分布式工作负载

awsome-distributed-ai 怎么安装和运行？

浏览 examples 目录，选择参考架构或示例 阅读所选架构或示例的 README 以获取设置说明 将仓库克隆到本地: git clone https://github.com/awslabs/awsome-distributed-ai.git

在哪里获取 awsome-distributed-ai？

源代码和安装说明在 GitHub 上：https://github.com/awslabs/awsome-distributed-ai