Biblioteca Python que executa LLMs grandes camada por camada, permitindo inferência com modelos da classe 70B em uma única GPU de 4 GB, sem quantização.
39,5 mil4 milJupyter NotebookApache-2.0Atualizado ontem
deepspeedai/DeepSpeed
Biblioteca de otimização de deep learning que facilita e torna mais eficiente o treinamento distribuído e a inferência de modelos grandes.
- Estrelas
- 43,247
- Forks
- 5,048
- Issues abertas
- 1,540
- Último commit
- ontem
O que é?
DeepSpeed é uma biblioteca baseada em PyTorch para treinar e executar inferência em modelos grandes de deep learning usando várias GPUs. Ela oferece técnicas de sistema, como particionamento de memória com ZeRO, offloading para CPU e NVMe com ZeRO-Infinity, paralelismo 3D que combina paralelismo de dados, tensores e pipeline, e paralelismo de sequência Ulysses para sequências longas.
A biblioteca também inclui o DeepSpeed-MoE para modelos de mixture-of-experts, ferramentas de compressão e quantização e um mecanismo de inferência. A instalação é feita via pip, com extensões C++/CUDA compiladas just-in-time. O projeto lista suporte a GPUs NVIDIA e AMD, além de Intel Gaudi, Intel XPU, CPU e NPU Huawei Ascend.
DeepSpeed integra-se ao Hugging Face Transformers e Accelerate, ao PyTorch Lightning, ao MosaicML Composer e a outros frameworks de treinamento.
Recursos principais
- 01Otimização de memória ZeRO que particiona estados do otimizador, gradientes e parâmetros entre GPUs.
- 02Offloading com ZeRO-Infinity para a memória da CPU e o armazenamento NVMe.
- 03Paralelismo 3D que combina paralelismo de dados, tensores e pipeline.
- 04Treinamento e inferência de mixture-of-experts com DeepSpeed-MoE.
- 05Ferramentas de compressão e quantização para reduzir o tamanho dos modelos e aumentar a velocidade.
- 06Integrações com Hugging Face Transformers, Accelerate e PyTorch Lightning.
Casos de uso
- Treinar modelos de linguagem com bilhões de parâmetros em um cluster com várias GPUs.
- Executar inferência em modelos grandes demais para caber na memória de uma única GPU.
- Treinar com sequências de entrada muito longas usando paralelismo de sequência.
- Adicionar offloading de memória a um pipeline de treinamento PyTorch existente.
Início rápido
- 1
Instale o PyTorch primeiro (é necessário antes do DeepSpeed)
- 2
Instale o DeepSpeed pelo PyPI
pip install deepspeed
Antes de usar
- É necessário instalar o PyTorch antes do DeepSpeed, além de um compilador CUDA ou ROCm para as extensões C++/CUDA.
- Foi testado principalmente em GPUs NVIDIA Pascal–Hopper e AMD MI100/MI200; o suporte a outros hardwares pode ser mais limitado.
- Os recursos de treinamento distribuído em larga escala são voltados a configurações com várias GPUs, o que torna a configuração mais complexa.
Tópicos
Perguntas frequentes
- O que é DeepSpeed?
- Biblioteca de otimização de deep learning que facilita e torna mais eficiente o treinamento distribuído e a inferência de modelos grandes. DeepSpeed é uma biblioteca baseada em PyTorch para treinar e executar inferência em modelos grandes de deep learning usando várias GPUs. Ela oferece técnicas de sistema, como particionamento de memória com ZeRO, offloading para CPU e NVMe com ZeRO-Infinity, paralelismo 3D que combina paralelismo de dados, tensores e pipeline, e paralelismo de sequência Ulysses para sequências longas.
- DeepSpeed é gratuito? Qual é a licença?
- DeepSpeed é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- DeepSpeed ainda é mantido?
- Manutenção ativa. O último commit de DeepSpeed foi em 19 de out. de 2026.
- Para que posso usar DeepSpeed?
- Treinar modelos de linguagem com bilhões de parâmetros em um cluster com várias GPUs. Executar inferência em modelos grandes demais para caber na memória de uma única GPU. Treinar com sequências de entrada muito longas usando paralelismo de sequência. Adicionar offloading de memória a um pipeline de treinamento PyTorch existente.
- Como instalar DeepSpeed?
- Instale o PyTorch primeiro (é necessário antes do DeepSpeed) Instale o DeepSpeed pelo PyPI: pip install deepspeed
- Onde consigo DeepSpeed?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/deepspeedai/DeepSpeed
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Implementação oficial do FlashAttention, um kernel de atenção exata e eficiente em memória para treinar e executar inferência de modelos Transformer em GPUs.
25,2 mil3,2 milPythonBSD-3-ClauseAtualizado há 11 horas
Stack de inferência on-device do PyTorch para executar modelos exportados em celulares, laptops, navegadores e microcontroladores.
5,1 mil1,2 milPythonOtherAtualizado há 4 horas
Framework para definir modelos de ponta em machine learning para texto, visão, áudio e tarefas multimodais, voltado a inferência e treinamento.
167,9 mil34,9 milPythonApache-2.0Atualizado há 6 horas
Mecanismo de inferência de LLM em C/C++ puro para executar modelos de linguagem e visão-linguagem localmente ou na nuvem, em diversos backends de hardware.
131,8 mil24,6 milC++MITAtualizado há 6 horas
Biblioteca e servidor rápidos e eficientes em memória para executar e servir modelos de linguagem grandes com uma API compatível com a OpenAI.
94,2 mil23,6 milPythonApache-2.0Atualizado há 6 horas