deepspeedai/DeepSpeed

어떤 프로젝트인가요?

핵심 기능

• 01GPU 간에 옵티마이저 상태, 그래디언트, 파라미터를 분할하는 ZeRO 메모리 최적화.
• 02CPU 메모리와 NVMe 스토리지로 오프로드하는 ZeRO-Infinity.
• 03데이터·텐서·파이프라인 병렬화를 결합한 3D 병렬화.
• 04DeepSpeed-MoE를 통한 mixture-of-experts 모델 학습 및 추론.
• 05모델 크기와 속도를 개선하는 압축 및 양자화 도구.
• 06Hugging Face Transformers, Accelerate, PyTorch Lightning 통합.

활용 사례

• 여러 GPU로 구성된 클러스터에서 수십억 개의 파라미터를 가진 언어 모델 학습.
• 단일 GPU 메모리에 담기에는 너무 큰 모델의 추론 실행.
• 시퀀스 병렬화를 사용해 매우 긴 입력 시퀀스로 학습.
• 기존 PyTorch 학습 파이프라인에 메모리 오프로드 추가.

빠른 시작

1. 1

   먼저 PyTorch를 설치하세요(DeepSpeed 설치 전에 필요합니다)

2. 2

   PyPI에서 DeepSpeed를 설치하세요

   pip install deepspeed

사용 전 알아둘 점

• !DeepSpeed를 설치하기 전에 PyTorch가 설치되어 있어야 하며, C++/CUDA 확장 기능을 사용하려면 CUDA 또는 ROCm 컴파일러가 필요합니다.
• !NVIDIA Pascal–Hopper 및 AMD MI100/MI200 GPU에서 가장 많이 테스트되었습니다. 다른 하드웨어는 지원이 제한적일 수 있습니다.
• !대규모 분산 학습 기능은 멀티 GPU 환경을 대상으로 하므로 설정이 더 복잡해집니다.

토픽

자주 묻는 질문

DeepSpeed은(는) 무엇인가요?

대규모 모델의 분산 학습과 추론을 더 쉽고 효율적으로 지원하는 딥러닝 최적화 라이브러리입니다. DeepSpeed는 여러 GPU에서 대규모 딥러닝 모델을 학습하고 추론하는 PyTorch 기반 라이브러리입니다. ZeRO 메모리 분할, CPU와 NVMe로 오프로드하는 ZeRO-Infinity, 데이터·텐서·파이프라인 병렬화를 결합한 3D 병렬화, 긴 시퀀스를 위한 Ulysses 시퀀스 병렬화 등의 시스템 수준 기법을 제공합니다.

DeepSpeed은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

DeepSpeed은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

DeepSpeed은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. DeepSpeed의 마지막 커밋은 2026년 10월 19일입니다.

DeepSpeed은(는) 어디에 사용할 수 있나요?

여러 GPU로 구성된 클러스터에서 수십억 개의 파라미터를 가진 언어 모델 학습. 단일 GPU 메모리에 담기에는 너무 큰 모델의 추론 실행. 시퀀스 병렬화를 사용해 매우 긴 입력 시퀀스로 학습. 기존 PyTorch 학습 파이프라인에 메모리 오프로드 추가.

DeepSpeed는 어떻게 설치하나요?

먼저 PyTorch를 설치하세요(DeepSpeed 설치 전에 필요합니다) PyPI에서 DeepSpeed를 설치하세요: pip install deepspeed

DeepSpeed은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/deepspeedai/DeepSpeed