Biblioteca de otimização de deep learning que facilita e torna mais eficiente o treinamento distribuído e a inferência de modelos grandes.
43,2 mil5 milPythonApache-2.0Atualizado anteontem
ServiceNow/Fast-LLM
Biblioteca open source para treinar grandes modelos de linguagem com paralelismo 3D, otimização de memória ZeRO e integração com Hugging Face, desenvolvida com PyTorch e Triton.
- Estrelas
- 337
- Forks
- 53
- Issues abertas
- 56
- Último commit
- há 6 dias
O que é?
Fast-LLM é uma biblioteca open source para treinar grandes modelos de linguagem, desenvolvida com PyTorch e Triton. Ela atende desde modelos com cerca de 1B de parâmetros até clusters que treinam modelos com mais de 70B de parâmetros, e funciona desde uma única GPU até clusters multinode gerenciados por Slurm ou Kubernetes com KubeFlow.
A biblioteca oferece suporte a treinamento distribuído com paralelismo de dados, tensores e pipeline, paralelismo no comprimento das sequências e ZeRO-1, ZeRO-2 e ZeRO-3 para melhorar a eficiência de memória. Os modelos são configurados por meio de arquivos YAML e iniciados pela interface de linha de comando. Ela também inclui uma implementação de Mixture-of-Experts sem descarte de tokens e integração com Hugging Face Transformers.
O projeto é licenciado sob Apache 2.0, e imagens Docker pré-compiladas são publicadas para agilizar a implantação. A documentação e os exemplos abordam a configuração de treinamento do Mistral-7B usada no README.
Recursos principais
- 01Treinamento distribuído com paralelismo de dados, tensores e pipeline (3D).
- 02Otimização de memória com ZeRO-1, ZeRO-2 e ZeRO-3.
- 03Implementação de Mixture-of-Experts (MoE) sem descarte de tokens.
- 04Treinamento em precisão mista e acumulação de gradientes.
- 05Configuração baseada em YAML com interface de linha de comando.
- 06Integração com Hugging Face Transformers.
Casos de uso
- Pré-treinar um modelo no estilo Mistral ou GPT em um cluster de GPUs multinode gerenciado por Slurm.
- Executar tarefas de treinamento de LLM em larga escala no Kubernetes com KubeFlow PyTorchJob.
- Treinar modelos MoE personalizados com uma base de código open source licenciada sob Apache 2.0.
Início rápido
- 1
Implante a imagem Docker nvcr.io/nvidia/pytorch:25.11-py3 em todos os nós (recomendado)
- 2
Instale o Fast-LLM em todos os nós com pip
pip install --no-cache-dir "fast-llm[CORE,OPTIONAL] @ git+https://github.com/ServiceNow/Fast-LLM.git" - 3
Envie o script de exemplo de tarefa do Slurm para o cluster
sbatch examples/fast-llm.sbat
Antes de usar
- Para treinar na escala indicada, é necessário um cluster de GPU multinó, como uma configuração com 4 nós e 8 GPUs A100 ou H100 em cada um.
- É necessário ter CUDA 12.1 ou superior, além de PyTorch, Triton e Apex instalados em todos os nós.
- O README informa que alguns recursos, como otimizadores personalizáveis e tutoriais, ainda estão em desenvolvimento.
Tópicos
Perguntas frequentes
- O que é Fast-LLM?
- Biblioteca open source para treinar grandes modelos de linguagem com paralelismo 3D, otimização de memória ZeRO e integração com Hugging Face, desenvolvida com PyTorch e Triton. Fast-LLM é uma biblioteca open source para treinar grandes modelos de linguagem, desenvolvida com PyTorch e Triton. Ela atende desde modelos com cerca de 1B de parâmetros até clusters que treinam modelos com mais de 70B de parâmetros, e funciona desde uma única GPU até clusters multinode gerenciados por Slurm ou Kubernetes com KubeFlow.
- Fast-LLM é gratuito? Qual é a licença?
- Fast-LLM é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
- Fast-LLM ainda é mantido?
- Manutenção ativa. O último commit de Fast-LLM foi em 15 de out. de 2026.
- Para que posso usar Fast-LLM?
- Pré-treinar um modelo no estilo Mistral ou GPT em um cluster de GPUs multinode gerenciado por Slurm. Executar tarefas de treinamento de LLM em larga escala no Kubernetes com KubeFlow PyTorchJob. Treinar modelos MoE personalizados com uma base de código open source licenciada sob Apache 2.0.
- Como instalar Fast-LLM?
- Implante a imagem Docker nvcr.io/nvidia/pytorch:25.11-py3 em todos os nós (recomendado) Instale o Fast-LLM em todos os nós com pip: pip install --no-cache-dir "fast-llm[CORE,OPTIONAL] @ git+https://github.com/ServiceNow/Fast-LLM.git" Envie o script de exemplo de tarefa do Slurm para o cluster: sbatch examples/fast-llm.sbat
- Onde consigo Fast-LLM?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ServiceNow/Fast-LLM
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Sistema baseado em PyTorch para treinamento e inferência distribuídos de grandes modelos de IA, com paralelismo, otimização de memória e treinamento heterogêneo.
IA e Machine Learning#deep-learning#distributed-training#model-parallelism#pipeline-parallelism#pytorch
41,4 mil4,5 milPythonApache-2.0Atualizado há 7 horas
Biblioteca PyTorch com arquiteturas de modelos de imagem, pesos pré-treinados e scripts de treinamento, validação e exportação para tarefas de visão computacional.
IA e Machine Learning#pytorch#computer-vision#image-classification#pretrained-models#vision-transformer
37,2 mil5,2 milPythonApache-2.0Atualizado há 19 horas
Implementação em PyTorch do Vision Transformer (ViT) e de muitas variantes para classificação de imagens e outras tarefas de visão computacional.
25,6 mil3,5 milPythonMITAtualizado há 8 dias
Mamba é uma arquitetura de modelagem de sequências em PyTorch baseada em modelos seletivos de espaço de estados, que oferece uma alternativa aos Transformers com tempo de execução linear para tarefas com linguagem e outras sequências.
18,9 mil1,8 milPythonApache-2.0Atualizado há 3 meses
Código oficial de treinamento e referência do RWKV, uma arquitetura de modelo de linguagem no estilo RNN que também pode ser treinada em paralelo como um transformer GPT.
14,8 mil1 milPythonApache-2.0Atualizado há 23 dias