Una biblioteca de optimización de deep learning que facilita y hace más eficiente el entrenamiento distribuido y la inferencia de modelos grandes.
43,2 mil5 milPythonApache-2.0Actualizado anteayer
hpcaitech/ColossalAI
Sistema de entrenamiento e inferencia distribuidos, basado en PyTorch, para modelos grandes de IA, con paralelismo, optimización de memoria y entrenamiento heterogéneo.
- Estrellas
- 41,432
- Forks
- 4,486
- Issues abiertos
- 479
- Último commit
- hace 9 horas
¿Qué es?
Colossal-AI es un sistema de deep learning que busca reducir el costo del entrenamiento y la inferencia de modelos grandes y facilitar su escalado. Permite escribir código para modelos de un solo dispositivo y después aplicar paralelismo de datos, de pipeline, de tensores 1D/2D/2.5D/3D y de secuencias, además de ZeRO y paralelismo automático, mediante un archivo de configuración y unas pocas líneas de código.
El proyecto también incluye gestión heterogénea de memoria, como el offloading al estilo de PatrickStar, para entrenar modelos en hardware con memoria GPU limitada. El repositorio contiene scripts de ejemplo para entrenar modelos como LLaMA, GPT, BERT, ViT y MoE, además de componentes de inferencia y ejemplos de aplicaciones para chat, difusión y modelos de estructura de proteínas.
Se puede instalar desde PyPI o a partir del código fuente. El sistema operativo compatible es Linux y se requieren GPU NVIDIA con CUDA. También se ofrecen imágenes de Docker.
Funciones clave
- 01Paralelismo de datos, de pipeline, de tensores (1D/2D/2.5D/3D) y de secuencias para entrenamiento distribuido
- 02Estrategias ZeRO y de paralelismo automático
- 03Gestión heterogénea de memoria que descarga datos cuando superan la memoria de la GPU
- 04Configuración del paralelismo mediante un archivo de configuración, con cambios mínimos en el código
- 05Componentes de inferencia y aplicaciones de ejemplo para LLM y modelos de difusión
Casos de uso
- Entrenar modelos de lenguaje grandes en varias GPU o nodos
- Ajustar o preentrenar modelos grandes con memoria GPU limitada
- Ejecutar inferencias de LLM con memoria y rendimiento optimizados
- Reproducir pipelines de entrenamiento de ejemplo para LLaMA, GPT o modelos de difusión
Inicio rápido
- 1
Consulta la sección Installation para ver las opciones de instalación desde PyPI o desde el código fuente
Antes de usarlo
- Sus funciones están pensadas para modelos grandes y entrenamiento con varias GPU, por lo que ofrece pocas ventajas si no se dispone de GPU.
Temas
Preguntas frecuentes
- ¿Qué es ColossalAI?
- Sistema de entrenamiento e inferencia distribuidos, basado en PyTorch, para modelos grandes de IA, con paralelismo, optimización de memoria y entrenamiento heterogéneo. Colossal-AI es un sistema de deep learning que busca reducir el costo del entrenamiento y la inferencia de modelos grandes y facilitar su escalado. Permite escribir código para modelos de un solo dispositivo y después aplicar paralelismo de datos, de pipeline, de tensores 1D/2D/2.5D/3D y de secuencias, además de ZeRO y paralelismo automático, mediante un archivo de configuración y unas pocas líneas de código.
- ¿ColossalAI es gratuito? ¿Qué licencia tiene?
- ColossalAI es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿ColossalAI sigue mantenido?
- Mantenimiento activo. El último commit de ColossalAI fue el 21 oct 2026.
- ¿Para qué puedo usar ColossalAI?
- Entrenar modelos de lenguaje grandes en varias GPU o nodos Ajustar o preentrenar modelos grandes con memoria GPU limitada Ejecutar inferencias de LLM con memoria y rendimiento optimizados Reproducir pipelines de entrenamiento de ejemplo para LLaMA, GPT o modelos de difusión
- ¿Cómo se instala ColossalAI?
- Consulta la sección Installation para ver las opciones de instalación desde PyPI o desde el código fuente
- ¿Dónde consigo ColossalAI?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/hpcaitech/ColossalAI
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Implementación oficial de FlashAttention, un kernel de atención exacta y eficiente en memoria para entrenar e inferir con modelos Transformer en GPU.
25,2 mil3,2 milPythonBSD-3-ClauseActualizado ayer
Biblioteca de código abierto para entrenar modelos de lenguaje grandes con paralelismo 3D, optimización de memoria ZeRO e integración con Hugging Face, basada en PyTorch y Triton.
33753PythonOtherActualizado hace 6 días
Código complementario del libro Build a Large Language Model (From Scratch) para implementar paso a paso un LLM similar a GPT en PyTorch.
107 mil16,5 milJupyter NotebookOtherActualizado hace 19 días
Un libro abierto de métodos, scripts y guías paso a paso para entrenar, ajustar y ejecutar inferencias con modelos de lenguaje grandes y multimodales.
19,6 mil1,3 milPythonCC-BY-SA-4.0Actualizado hace 5 días
MNN es un motor ligero de inferencia y entrenamiento de deep learning de Alibaba, diseñado para ejecutar modelos en dispositivos móviles e integrados, incluidos LLM en el dispositivo.
16,3 mil2,5 milC++Apache-2.0Actualizado hace 10 horas