Biblioteca de Python que ejecuta modelos de lenguaje grandes capa por capa para que los modelos de 70B puedan inferir en una sola GPU de 4 GB, sin cuantización.
39,5 mil4 milJupyter NotebookApache-2.0Actualizado anteayer
deepspeedai/DeepSpeed
Una biblioteca de optimización de deep learning que facilita y hace más eficiente el entrenamiento distribuido y la inferencia de modelos grandes.
- Estrellas
- 43,247
- Forks
- 5,048
- Issues abiertos
- 1,540
- Último commit
- ayer
¿Qué es?
DeepSpeed es una biblioteca basada en PyTorch para entrenar y ejecutar inferencias con modelos grandes de deep learning en varias GPU. Ofrece técnicas a nivel de sistema, como la partición de memoria ZeRO, la descarga de datos a CPU y NVMe con ZeRO-Infinity, el paralelismo 3D, que combina el paralelismo de datos, tensores y pipeline, y el paralelismo de secuencias Ulysses para secuencias largas.
La biblioteca también incluye DeepSpeed-MoE para modelos de mezcla de expertos, herramientas de compresión y cuantización, y un motor de inferencia. Se instala mediante pip, y las extensiones de C++/CUDA se compilan just-in-time. El proyecto indica que es compatible con GPU de NVIDIA y AMD, además de Intel Gaudi, Intel XPU, CPU y NPU Huawei Ascend.
DeepSpeed se integra con Hugging Face Transformers y Accelerate, PyTorch Lightning, MosaicML Composer y otros frameworks de entrenamiento.
Funciones clave
- 01Optimización de memoria ZeRO, que distribuye los estados del optimizador, los gradientes y los parámetros entre las GPU.
- 02Descarga de datos a la memoria de la CPU y al almacenamiento NVMe con ZeRO-Infinity.
- 03Paralelismo 3D que combina el paralelismo de datos, tensores y pipeline.
- 04Entrenamiento e inferencia de modelos de mezcla de expertos mediante DeepSpeed-MoE.
- 05Herramientas de compresión y cuantización para reducir el tamaño de los modelos y aumentar su velocidad.
- 06Integraciones con Hugging Face Transformers, Accelerate y PyTorch Lightning.
Casos de uso
- Entrenar modelos de lenguaje con miles de millones de parámetros en un clúster con varias GPU.
- Ejecutar inferencias con modelos demasiado grandes para caber en la memoria de una sola GPU.
- Entrenar con secuencias de entrada muy largas mediante paralelismo de secuencias.
- Añadir descarga de memoria a un pipeline de entrenamiento de PyTorch existente.
Inicio rápido
- 1
Instala primero PyTorch (es necesario antes de instalar DeepSpeed)
- 2
Instala DeepSpeed desde PyPI
pip install deepspeed
Antes de usarlo
- Es necesario instalar PyTorch antes que DeepSpeed, y se requiere un compilador CUDA o ROCm para sus extensiones de C++/CUDA.
- Se ha probado principalmente con GPU NVIDIA Pascal–Hopper y AMD MI100/MI200; el soporte para otro hardware puede ser más limitado.
- Las funciones de entrenamiento distribuido a gran escala están pensadas para configuraciones con varias GPU, lo que complica la configuración.
Temas
Preguntas frecuentes
- ¿Qué es DeepSpeed?
- Una biblioteca de optimización de deep learning que facilita y hace más eficiente el entrenamiento distribuido y la inferencia de modelos grandes. DeepSpeed es una biblioteca basada en PyTorch para entrenar y ejecutar inferencias con modelos grandes de deep learning en varias GPU. Ofrece técnicas a nivel de sistema, como la partición de memoria ZeRO, la descarga de datos a CPU y NVMe con ZeRO-Infinity, el paralelismo 3D, que combina el paralelismo de datos, tensores y pipeline, y el paralelismo de secuencias Ulysses para secuencias largas.
- ¿DeepSpeed es gratuito? ¿Qué licencia tiene?
- DeepSpeed es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿DeepSpeed sigue mantenido?
- Mantenimiento activo. El último commit de DeepSpeed fue el 19 oct 2026.
- ¿Para qué puedo usar DeepSpeed?
- Entrenar modelos de lenguaje con miles de millones de parámetros en un clúster con varias GPU. Ejecutar inferencias con modelos demasiado grandes para caber en la memoria de una sola GPU. Entrenar con secuencias de entrada muy largas mediante paralelismo de secuencias. Añadir descarga de memoria a un pipeline de entrenamiento de PyTorch existente.
- ¿Cómo se instala DeepSpeed?
- Instala primero PyTorch (es necesario antes de instalar DeepSpeed) Instala DeepSpeed desde PyPI: pip install deepspeed
- ¿Dónde consigo DeepSpeed?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/deepspeedai/DeepSpeed
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Implementación oficial de FlashAttention, un kernel de atención exacta y eficiente en memoria para entrenar e inferir con modelos Transformer en GPU.
25,2 mil3,2 milPythonBSD-3-ClauseActualizado hace 17 horas
Stack de inferencia en el dispositivo de PyTorch para ejecutar modelos exportados en teléfonos, laptops, navegadores y microcontroladores.
5,1 mil1,2 milPythonOtherActualizado hace 11 horas
Framework para definir modelos de aprendizaje automático de última generación de texto, visión, audio y modalidades múltiples, para inferencia y entrenamiento.
167,9 mil34,9 milPythonApache-2.0Actualizado hace 12 horas
Motor de inferencia de LLM en C/C++ puro para ejecutar modelos de lenguaje y de visión y lenguaje localmente o en la nube, en numerosos tipos de hardware.
131,8 mil24,6 milC++MITActualizado hace 12 horas
Biblioteca y servidor rápidos y eficientes en memoria para ejecutar y servir modelos de lenguaje grandes mediante una API compatible con OpenAI.
94,2 mil23,6 milPythonApache-2.0Actualizado hace 12 horas