Biblioteca de otimização de deep learning que facilita e torna mais eficiente o treinamento distribuído e a inferência de modelos grandes.
43,2 mil5 milPythonApache-2.0Atualizado anteontem
stas00/ml-engineering
Um livro aberto com métodos, scripts e guias passo a passo para treinar, fazer fine-tuning e executar inferência em modelos de linguagem grandes e multimodais.
- Estrelas
- 19,566
- Forks
- 1,299
- Issues abertas
- 1
- Último commit
- há 5 dias
O que é?
Esta é uma coleção aberta de metodologias, ferramentas e instruções passo a passo para treinar e fazer fine-tuning de modelos de linguagem grandes e modelos multimodais, além de executar inferências com eles. O material é voltado a engenheiros de treinamento e operadores de LLMs e VLMs, e inclui muitos comandos e scripts prontos para copiar e colar.
O conteúdo se baseia na experiência prática de treinamento dos modelos BLOOM-176B, IDEFICS-80B e RAG. Ele está organizado em partes que abordam hardware (computação, armazenamento e rede), orquestração (incluindo SLURM), treinamento, inferência, depuração e testes, além de uma coleção de diários de treinamento disponíveis publicamente.
O repositório também oferece versões do livro em PDF e EPUB, além de dois arquivos SKILL.md para ensinar agentes de IA a treinar modelos ou avaliar um cluster de GPUs.
Recursos principais
- 01Aborda aceleradores, memória de CPU, armazenamento e rede entre nós para treinamento em larga escala
- 02Inclui folhas de referência de SLURM e orientações sobre orquestração
- 03Oferece ferramentas para medir a vazão da rede e testar a conectividade entre nós
- 04Apresenta receitas de depuração para aplicações PyTorch travadas ou com falhas
- 05Inclui guias para escolher provedores de nuvem e decidir sobre upgrades de GPU
Casos de uso
- Configurar e operar um cluster de GPUs com vários nós para treinar LLMs
- Depurar jobs distribuídos de treinamento em PyTorch que travam ou falham
- Estimar se vale a pena fazer upgrade para uma nova geração de GPUs
- Preparar um teste de aceitação para um cluster de GPUs recém-entregue
Início rápido
- 1
Clone o repositório
git clone https://github.com/stas00/ml-engineering - 2
Abra o sumário do livro e leia o guia de que precisa (o livro é composto por arquivos Markdown, não é necessário instalar nada)
Antes de usar
- Este é um conjunto de anotações e guias, não um software instalável, então não há nada para executar.
- O conteúdo é baseado principalmente na experiência pessoal do autor com projetos específicos de treinamento em larga escala.
Tópicos
Perguntas frequentes
- O que é ml-engineering?
- Um livro aberto com métodos, scripts e guias passo a passo para treinar, fazer fine-tuning e executar inferência em modelos de linguagem grandes e multimodais. Esta é uma coleção aberta de metodologias, ferramentas e instruções passo a passo para treinar e fazer fine-tuning de modelos de linguagem grandes e modelos multimodais, além de executar inferências com eles. O material é voltado a engenheiros de treinamento e operadores de LLMs e VLMs, e inclui muitos comandos e scripts prontos para copiar e colar.
- ml-engineering é gratuito? Qual é a licença?
- ml-engineering é open source sob a licença CC-BY-SA-4.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- ml-engineering ainda é mantido?
- Manutenção ativa. O último commit de ml-engineering foi em 16 de out. de 2026.
- Para que posso usar ml-engineering?
- Configurar e operar um cluster de GPUs com vários nós para treinar LLMs Depurar jobs distribuídos de treinamento em PyTorch que travam ou falham Estimar se vale a pena fazer upgrade para uma nova geração de GPUs Preparar um teste de aceitação para um cluster de GPUs recém-entregue
- Como instalar ml-engineering?
- Clone o repositório: git clone https://github.com/stas00/ml-engineering Abra o sumário do livro e leia o guia de que precisa (o livro é composto por arquivos Markdown, não é necessário instalar nada)
- Onde consigo ml-engineering?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/stas00/ml-engineering
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Sistema baseado em PyTorch para treinamento e inferência distribuídos de grandes modelos de IA, com paralelismo, otimização de memória e treinamento heterogêneo.
IA e Machine Learning#deep-learning#distributed-training#model-parallelism#pipeline-parallelism#pytorch
41,4 mil4,5 milPythonApache-2.0Atualizado há 6 horas
Biblioteca nativa do PyTorch para quantização, esparsidade e treinamento em float8, abrangendo treinamento de modelos e inferência em produção.
3 mil655PythonOtherAtualizado anteontem
Código complementar ao livro Build a Large Language Model (From Scratch), com a implementação passo a passo de um LLM semelhante ao GPT em PyTorch.
107 mil16,5 milJupyter NotebookOtherAtualizado há 19 dias
Currículo introdutório de IA da Microsoft, com 24 aulas ao longo de 12 semanas sobre IA simbólica, redes neurais, visão computacional, NLP e ética, incluindo notebooks em PyTorch e TensorFlow.
Recursos de aprendizado#artificial-intelligence#machine-learning#deep-learning#neural-networks#computer-vision
70,1 mil13,6 milJupyter NotebookMITAtualizado mês passado
Visualizador de modelos de redes neurais, deep learning e machine learning, com suporte a ONNX, TensorFlow, PyTorch, Core ML e muitos outros formatos.
33,6 mil3,2 milJavaScriptMITAtualizado há 3 dias