Biblioteca de otimização de deep learning que facilita e torna mais eficiente o treinamento distribuído e a inferência de modelos grandes.
43,2 mil5 milPythonApache-2.0Atualizado anteontem
hpcaitech/ColossalAI
Sistema baseado em PyTorch para treinamento e inferência distribuídos de grandes modelos de IA, com paralelismo, otimização de memória e treinamento heterogêneo.
- Estrelas
- 41,432
- Forks
- 4,486
- Issues abertas
- 479
- Último commit
- há 9 horas
O que é?
O Colossal-AI é um sistema de deep learning criado para tornar o treinamento e a inferência de modelos grandes mais baratos e fáceis de escalar. Ele permite que desenvolvedores escrevam código de modelo para um único dispositivo e, em seguida, apliquem paralelismo de dados, pipeline, tensor 1D/2D/2.5D/3D e sequência, além de ZeRO e paralelismo automático, usando um arquivo de configuração e poucas linhas de código.
O projeto também oferece gerenciamento de memória heterogênea, como o offloading no estilo PatrickStar, para permitir o treinamento de modelos em hardware com memória GPU limitada. O repositório inclui scripts de treinamento de exemplo para modelos como LLaMA, GPT, BERT, ViT e MoE, além de componentes de inferência e exemplos de aplicações, como chat, diffusion e modelos de estrutura de proteínas.
A instalação está disponível pelo PyPI ou a partir do código-fonte. Linux é o sistema operacional compatível, e é necessário ter GPUs NVIDIA com CUDA. Também são fornecidas imagens Docker.
Recursos principais
- 01Paralelismo de dados, pipeline, tensor (1D/2D/2.5D/3D) e sequência para treinamento distribuído
- 02Estratégias ZeRO e de paralelismo automático
- 03Gerenciamento de memória heterogênea que transfere dados para além da memória da GPU
- 04Configuração do paralelismo por meio de um arquivo de configuração, com alterações mínimas no código
- 05Componentes de inferência e aplicações de exemplo para LLMs e modelos de diffusion
Casos de uso
- Treinar modelos de linguagem grandes em várias GPUs ou nós
- Fazer fine-tuning ou pré-treinamento de modelos grandes com memória GPU limitada
- Executar inferência de LLMs com memória e throughput otimizados
- Reproduzir pipelines de treinamento de exemplo para LLaMA, GPT ou modelos de diffusion
Início rápido
- 1
Consulte a seção Installation para ver as opções de instalação pelo PyPI ou a partir do código-fonte
Antes de usar
- Seus recursos são voltados para modelos grandes e treinamento com várias GPUs, por isso oferece poucos benefícios sem GPUs.
Tópicos
Perguntas frequentes
- O que é ColossalAI?
- Sistema baseado em PyTorch para treinamento e inferência distribuídos de grandes modelos de IA, com paralelismo, otimização de memória e treinamento heterogêneo. O Colossal-AI é um sistema de deep learning criado para tornar o treinamento e a inferência de modelos grandes mais baratos e fáceis de escalar. Ele permite que desenvolvedores escrevam código de modelo para um único dispositivo e, em seguida, apliquem paralelismo de dados, pipeline, tensor 1D/2D/2.5D/3D e sequência, além de ZeRO e paralelismo automático, usando um arquivo de configuração e poucas linhas de código.
- ColossalAI é gratuito? Qual é a licença?
- ColossalAI é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- ColossalAI ainda é mantido?
- Manutenção ativa. O último commit de ColossalAI foi em 21 de out. de 2026.
- Para que posso usar ColossalAI?
- Treinar modelos de linguagem grandes em várias GPUs ou nós Fazer fine-tuning ou pré-treinamento de modelos grandes com memória GPU limitada Executar inferência de LLMs com memória e throughput otimizados Reproduzir pipelines de treinamento de exemplo para LLaMA, GPT ou modelos de diffusion
- Como instalar ColossalAI?
- Consulte a seção Installation para ver as opções de instalação pelo PyPI ou a partir do código-fonte
- Onde consigo ColossalAI?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/hpcaitech/ColossalAI
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Implementação oficial do FlashAttention, um kernel de atenção exata e eficiente em memória para treinar e executar inferência de modelos Transformer em GPUs.
25,2 mil3,2 milPythonBSD-3-ClauseAtualizado ontem
Biblioteca open source para treinar grandes modelos de linguagem com paralelismo 3D, otimização de memória ZeRO e integração com Hugging Face, desenvolvida com PyTorch e Triton.
33753PythonOtherAtualizado há 6 dias
Código complementar ao livro Build a Large Language Model (From Scratch), com a implementação passo a passo de um LLM semelhante ao GPT em PyTorch.
107 mil16,5 milJupyter NotebookOtherAtualizado há 19 dias
Um livro aberto com métodos, scripts e guias passo a passo para treinar, fazer fine-tuning e executar inferência em modelos de linguagem grandes e multimodais.
19,6 mil1,3 milPythonCC-BY-SA-4.0Atualizado há 5 dias
MNN é um mecanismo leve de inferência e treinamento de deep learning da Alibaba, criado para executar modelos em dispositivos móveis e embarcados, incluindo LLMs no próprio dispositivo.
16,3 mil2,5 milC++Apache-2.0Atualizado há 10 horas