Una biblioteca de optimización de deep learning que facilita y hace más eficiente el entrenamiento distribuido y la inferencia de modelos grandes.
43,2 mil5 milPythonApache-2.0Actualizado anteayer
ServiceNow/Fast-LLM
Biblioteca de código abierto para entrenar modelos de lenguaje grandes con paralelismo 3D, optimización de memoria ZeRO e integración con Hugging Face, basada en PyTorch y Triton.
- Estrellas
- 337
- Forks
- 53
- Issues abiertos
- 56
- Último commit
- hace 6 días
¿Qué es?
Fast-LLM es una biblioteca de código abierto para entrenar modelos de lenguaje grandes, basada en PyTorch y Triton. Está diseñada para modelos de aproximadamente 1B de parámetros y para clústeres que entrenan modelos de más de 70B de parámetros. Se ejecuta desde una sola GPU hasta clústeres multinodo gestionados con Slurm o Kubernetes con KubeFlow.
La biblioteca admite entrenamiento distribuido con paralelismo de datos, tensores y pipeline, paralelismo de longitud de secuencia y ZeRO-1, ZeRO-2 y ZeRO-3 para mejorar la eficiencia de memoria. Los modelos se configuran mediante archivos YAML y se ejecutan desde una interfaz de línea de comandos. También incluye una implementación de Mixture-of-Experts sin descarte e integración con Hugging Face Transformers.
El proyecto está publicado bajo la licencia Apache 2.0 y ofrece imágenes Docker precompiladas para agilizar el despliegue. La documentación y los ejemplos incluyen la configuración de entrenamiento de Mistral-7B que se usa en el README.
Funciones clave
- 01Entrenamiento distribuido con paralelismo de datos, tensores y pipeline (3D).
- 02Optimización de memoria con ZeRO-1, ZeRO-2 y ZeRO-3.
- 03Implementación de Mixture-of-Experts (MoE) sin descarte.
- 04Entrenamiento de precisión mixta y acumulación de gradientes.
- 05Configuración basada en YAML e interfaz de línea de comandos.
- 06Integración con Hugging Face Transformers.
Casos de uso
- Preentrenar un modelo de estilo Mistral o similar a GPT en un clúster de GPU multinodo gestionado con Slurm.
- Ejecutar trabajos de entrenamiento de LLM a gran escala en Kubernetes con KubeFlow PyTorchJob.
- Entrenar modelos MoE personalizados con una base de código de código abierto con licencia Apache 2.0.
Inicio rápido
- 1
Implementa la imagen de Docker nvcr.io/nvidia/pytorch:25.11-py3 en todos los nodos (recomendado)
- 2
Instala Fast-LLM en todos los nodos con pip
pip install --no-cache-dir "fast-llm[CORE,OPTIONAL] @ git+https://github.com/ServiceNow/Fast-LLM.git" - 3
Envía al clúster el script de ejemplo de trabajo de Slurm
sbatch examples/fast-llm.sbat
Antes de usarlo
- Para entrenar a la escala indicada se necesita un clúster de GPU multinodo, por ejemplo, de 4 nodos con 8 GPU A100 o H100 cada uno.
- Se requiere CUDA 12.1 o posterior, además de PyTorch, Triton y Apex instalados en todos los nodos.
- El README indica que algunas funciones, como los optimizadores personalizables y los tutoriales, aún están en desarrollo.
Temas
Preguntas frecuentes
- ¿Qué es Fast-LLM?
- Biblioteca de código abierto para entrenar modelos de lenguaje grandes con paralelismo 3D, optimización de memoria ZeRO e integración con Hugging Face, basada en PyTorch y Triton. Fast-LLM es una biblioteca de código abierto para entrenar modelos de lenguaje grandes, basada en PyTorch y Triton. Está diseñada para modelos de aproximadamente 1B de parámetros y para clústeres que entrenan modelos de más de 70B de parámetros. Se ejecuta desde una sola GPU hasta clústeres multinodo gestionados con Slurm o Kubernetes con KubeFlow.
- ¿Fast-LLM es gratuito? ¿Qué licencia tiene?
- Fast-LLM es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿Fast-LLM sigue mantenido?
- Mantenimiento activo. El último commit de Fast-LLM fue el 15 oct 2026.
- ¿Para qué puedo usar Fast-LLM?
- Preentrenar un modelo de estilo Mistral o similar a GPT en un clúster de GPU multinodo gestionado con Slurm. Ejecutar trabajos de entrenamiento de LLM a gran escala en Kubernetes con KubeFlow PyTorchJob. Entrenar modelos MoE personalizados con una base de código de código abierto con licencia Apache 2.0.
- ¿Cómo se instala Fast-LLM?
- Implementa la imagen de Docker nvcr.io/nvidia/pytorch:25.11-py3 en todos los nodos (recomendado) Instala Fast-LLM en todos los nodos con pip: pip install --no-cache-dir "fast-llm[CORE,OPTIONAL] @ git+https://github.com/ServiceNow/Fast-LLM.git" Envía al clúster el script de ejemplo de trabajo de Slurm: sbatch examples/fast-llm.sbat
- ¿Dónde consigo Fast-LLM?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ServiceNow/Fast-LLM
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Sistema de entrenamiento e inferencia distribuidos, basado en PyTorch, para modelos grandes de IA, con paralelismo, optimización de memoria y entrenamiento heterogéneo.
IA y Machine Learning#deep-learning#distributed-training#model-parallelism#pipeline-parallelism#pytorch
41,4 mil4,5 milPythonApache-2.0Actualizado hace 7 horas
Biblioteca de PyTorch con arquitecturas de modelos de imagen, pesos preentrenados y scripts de entrenamiento, validación y exportación para tareas de visión artificial.
IA y Machine Learning#pytorch#computer-vision#image-classification#pretrained-models#vision-transformer
37,2 mil5,2 milPythonApache-2.0Actualizado hace 19 horas
Implementación en PyTorch del Vision Transformer (ViT) y muchas de sus variantes para clasificación de imágenes y otras tareas de visión.
25,6 mil3,5 milPythonMITActualizado hace 8 días
Mamba es una arquitectura de modelado de secuencias para PyTorch basada en modelos selectivos de espacio de estados, que ofrece una alternativa a los Transformers con complejidad lineal para tareas de lenguaje y otras secuencias.
18,9 mil1,8 milPythonApache-2.0Actualizado hace 3 meses
Código oficial de entrenamiento y referencia para RWKV, una arquitectura de modelo de lenguaje tipo RNN que también se puede entrenar en paralelo, como un transformer GPT.
14,8 mil1 milPythonApache-2.0Actualizado hace 23 días