Framework para treinar LLMs, VLMs, modelos de difusão e modelos incorporados em GPUs NVIDIA e XPUs Kunlun, baseado no Megatron-LM e em backends nativos do torch.
830+51 esta semana67PythonApache-2.0Atualizado ontem
EleutherAI/gpt-neox
Biblioteca para treinar grandes modelos de linguagem autorregressivos em GPUs, baseada em Megatron-LM e DeepSpeed, com paralelismo de modelo, pipeline e dados.
- Estrelas
- 7,472
- Forks
- 1,126
- Issues abertas
- 128
- Último commit
- há 1 hora
O que é?
GPT-NeoX é a biblioteca da EleutherAI para treinar modelos de linguagem autorregressivos em larga escala em GPUs. Ela é baseada no Megatron-LM da NVIDIA e o amplia com técnicas do DeepSpeed, incluindo ZeRO e paralelismo 3D, além de adicionar otimizações próprias. É voltada a pesquisadores e equipes que querem pré-treinar ou ajustar modelos com bilhões de parâmetros do zero.
A biblioteca inclui configurações predefinidas para arquiteturas como Pythia, PaLM, Falcon e LLaMA, e oferece suporte a embeddings posicionais rotativos e ALiBi, flash attention, Mixture of Experts via megablocks e aprendizado por currículo. Os jobs podem ser iniciados com pdsh, MPI ou Slurm, e o treinamento pode ser monitorado com Weights & Biases, Comet ou TensorBoard. Os checkpoints podem ser exportados para o formato do Hugging Face Transformers, e é possível importar pesos de Llama e Mistral.
O projeto observa que, para inferência genérica, a biblioteca transformers do Hugging Face é a melhor opção.
Recursos principais
- 01Treinamento distribuído com ZeRO e paralelismo 3D
- 02Configurações predefinidas para as arquiteturas Pythia, PaLM, Falcon e LLaMA
- 03Suporte a flash attention e Mixture of Experts (megablocks)
- 04Inicie jobs via Slurm, MPI ou pdsh em GPUs NVIDIA e AMD
- 05Exporte checkpoints para o formato Hugging Face e importe pesos de Llama ou Mistral
- 06Monitoramento de experimentos com Weights & Biases, Comet e TensorBoard
Casos de uso
- Pré-treinar do zero um modelo de linguagem grande personalizado em um cluster de GPUs
- Reproduzir ou ampliar experimentos de treinamento no estilo Pythia
- Ajustar checkpoints de Llama ou Mistral com paralelismo entre vários nós
- Executar grandes jobs de treinamento em Slurm ou supercomputadores HPC
Início rápido
- 1
Instale as dependências básicas a partir da raiz do repositório
pip install -r requirements/requirements.txt - 2
Inicie um job de treinamento com um arquivo de configuração (substitua o caminho pelo do seu próprio arquivo)
python3 deepy.py train.py /path/to/configs/my_model.yml
Antes de usar
- Foi desenvolvido para treinar modelos grandes em GPUs e, por isso, requer hardware de GPU robusto.
- Segundo o README, provavelmente não é a ferramenta adequada se você precisa apenas de inferência; use Hugging Face transformers em vez disso.
- Foi desenvolvido e testado principalmente com Python 3.8-3.10 e PyTorch 1.8-2.0, e depende de um fork do DeepSpeed (DeeperSpeed), que deve ser instalado em um ambiente isolado.
Em coleções
Tópicos
#llm#distributed-training#deepspeed#megatron#transformers#pretraining#gpu#deepspeed-library#gpt-3#language-model
Perguntas frequentes
- O que é gpt-neox?
- Biblioteca para treinar grandes modelos de linguagem autorregressivos em GPUs, baseada em Megatron-LM e DeepSpeed, com paralelismo de modelo, pipeline e dados. GPT-NeoX é a biblioteca da EleutherAI para treinar modelos de linguagem autorregressivos em larga escala em GPUs. Ela é baseada no Megatron-LM da NVIDIA e o amplia com técnicas do DeepSpeed, incluindo ZeRO e paralelismo 3D, além de adicionar otimizações próprias. É voltada a pesquisadores e equipes que querem pré-treinar ou ajustar modelos com bilhões de parâmetros do zero.
- gpt-neox é gratuito? Qual é a licença?
- gpt-neox é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- gpt-neox ainda é mantido?
- Manutenção ativa. O último commit de gpt-neox foi em 7 de nov. de 2026.
- Para que posso usar gpt-neox?
- Pré-treinar do zero um modelo de linguagem grande personalizado em um cluster de GPUs Reproduzir ou ampliar experimentos de treinamento no estilo Pythia Ajustar checkpoints de Llama ou Mistral com paralelismo entre vários nós Executar grandes jobs de treinamento em Slurm ou supercomputadores HPC
- Como instalar gpt-neox?
- Instale as dependências básicas a partir da raiz do repositório: pip install -r requirements/requirements.txt Inicie um job de treinamento com um arquivo de configuração (substitua o caminho pelo do seu próprio arquivo): python3 deepy.py train.py /path/to/configs/my_model.yml
- Onde consigo gpt-neox?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/EleutherAI/gpt-neox
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Framework baseado em Ray e vLLM para RLHF e treinamento de agentes com RL em modelos de linguagem e visão-linguagem de grande porte.
10,1 mil+15 esta semana1,1 milPythonApache-2.0Bem mantidoAtualizado há 5 dias
Biblioteca otimizada para GPU e scripts de referência para treinar grandes modelos transformer com paralelismo multidimensional.
18,3 mil+38 esta semana4,7 milPythonOtherAtualizado há 1 hora
Biblioteca minimalista da Hugging Face para pré-treinar LLMs transformer com paralelismo 3D (DP, TP, PP) em clusters multi-GPU.
2,9 mil+3 esta semana342PythonApache-2.0Atualizado mês passado
Código complementar ao livro Build a Large Language Model (From Scratch), com a implementação passo a passo de um LLM semelhante ao GPT em PyTorch.
108 mil+365 esta semana16,7 milJupyter NotebookOtherBem mantidoAtualizado há 23 horas
Uma biblioteca no estilo Transformers baseada em PaddlePaddle para treinar modelos de linguagem e visão-linguagem de grande porte, com uma API compatível com Hugging Face.
13 mil+1 esta semana2,2 milPythonApache-2.0Bem mantidoAtualizado há 17 dias