Una biblioteca de optimización de deep learning que facilita y hace más eficiente el entrenamiento distribuido y la inferencia de modelos grandes.
43,2 mil5 milPythonApache-2.0Actualizado anteayer
stas00/ml-engineering
Un libro abierto de métodos, scripts y guías paso a paso para entrenar, ajustar y ejecutar inferencias con modelos de lenguaje grandes y multimodales.
- Estrellas
- 19,566
- Forks
- 1,299
- Issues abiertos
- 1
- Último commit
- hace 5 días
¿Qué es?
Es una colección abierta de metodologías, herramientas e instrucciones paso a paso para entrenar y ajustar modelos de lenguaje grandes y modelos multimodales, así como para ejecutar inferencias con ellos. El material está dirigido a ingenieros y operadores que entrenan LLM y VLM, e incluye numerosos comandos y scripts listos para copiar y pegar.
El contenido se basa en la experiencia práctica de entrenar BLOOM-176B, IDEFICS-80B y modelos RAG. Está organizado en secciones sobre hardware (cómputo, almacenamiento y red), orquestación (incluido SLURM), entrenamiento, inferencia, depuración y pruebas, además de una colección de bitácoras de entrenamiento disponibles públicamente.
El repositorio también ofrece versiones de los libros electrónicos en formatos PDF y EPUB, y dos archivos SKILL.md para enseñar a agentes de IA a entrenar modelos o evaluar un clúster de GPU.
Funciones clave
- 01Cubre aceleradores, memoria de CPU, almacenamiento y redes entre nodos para el entrenamiento a gran escala
- 02Incluye hojas de referencia de SLURM y orientación sobre orquestación
- 03Proporciona herramientas para medir el rendimiento de la red y probar la conectividad entre nodos
- 04Ofrece procedimientos de depuración para aplicaciones de PyTorch que se bloquean o fallan
- 05Incluye guías para elegir proveedores de nube y decidir si conviene actualizar las GPU
Casos de uso
- Configurar y operar un clúster de GPU multinodo para entrenar LLM
- Depurar trabajos de entrenamiento distribuido con PyTorch que se bloquean o fallan
- Estimar si resulta rentable actualizar a una nueva generación de GPU
- Preparar una prueba de aceptación para un clúster de GPU recién entregado
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/stas00/ml-engineering - 2
Abre el índice del libro y lee la guía que necesites (el libro está compuesto por archivos Markdown, no hace falta instalar nada)
Antes de usarlo
- Es una recopilación de notas y guías, no un software instalable, así que no hay nada que ejecutar.
- El contenido se basa principalmente en la experiencia personal del autor en proyectos concretos de entrenamiento a gran escala.
Temas
Preguntas frecuentes
- ¿Qué es ml-engineering?
- Un libro abierto de métodos, scripts y guías paso a paso para entrenar, ajustar y ejecutar inferencias con modelos de lenguaje grandes y multimodales. Es una colección abierta de metodologías, herramientas e instrucciones paso a paso para entrenar y ajustar modelos de lenguaje grandes y modelos multimodales, así como para ejecutar inferencias con ellos. El material está dirigido a ingenieros y operadores que entrenan LLM y VLM, e incluye numerosos comandos y scripts listos para copiar y pegar.
- ¿ml-engineering es gratuito? ¿Qué licencia tiene?
- ml-engineering es open source bajo la licencia CC-BY-SA-4.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿ml-engineering sigue mantenido?
- Mantenimiento activo. El último commit de ml-engineering fue el 16 oct 2026.
- ¿Para qué puedo usar ml-engineering?
- Configurar y operar un clúster de GPU multinodo para entrenar LLM Depurar trabajos de entrenamiento distribuido con PyTorch que se bloquean o fallan Estimar si resulta rentable actualizar a una nueva generación de GPU Preparar una prueba de aceptación para un clúster de GPU recién entregado
- ¿Cómo se instala ml-engineering?
- Clona el repositorio: git clone https://github.com/stas00/ml-engineering Abre el índice del libro y lee la guía que necesites (el libro está compuesto por archivos Markdown, no hace falta instalar nada)
- ¿Dónde consigo ml-engineering?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/stas00/ml-engineering
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Sistema de entrenamiento e inferencia distribuidos, basado en PyTorch, para modelos grandes de IA, con paralelismo, optimización de memoria y entrenamiento heterogéneo.
IA y Machine Learning#deep-learning#distributed-training#model-parallelism#pipeline-parallelism#pytorch
41,4 mil4,5 milPythonApache-2.0Actualizado hace 6 horas
Biblioteca nativa de PyTorch para cuantización, sparsity y entrenamiento float8, tanto para entrenar modelos como para servir inferencias.
3 mil655PythonOtherActualizado anteayer
Código complementario del libro Build a Large Language Model (From Scratch) para implementar paso a paso un LLM similar a GPT en PyTorch.
107 mil16,5 milJupyter NotebookOtherActualizado hace 19 días
Un plan de estudios de IA para principiantes de Microsoft, de 12 semanas y 24 lecciones, que abarca IA simbólica, redes neuronales, visión por computadora, NLP y ética, con notebooks en PyTorch y TensorFlow.
Recursos de aprendizaje#artificial-intelligence#machine-learning#deep-learning#neural-networks#computer-vision
70,1 mil13,6 milJupyter NotebookMITActualizado el mes pasado
Visor de modelos de redes neuronales, deep learning y machine learning, compatible con ONNX, TensorFlow, PyTorch, Core ML y muchos otros formatos.
33,6 mil3,2 milJavaScriptMITActualizado hace 3 días