Biblioteca Python que executa LLMs grandes camada por camada, permitindo inferência com modelos da classe 70B em uma única GPU de 4 GB, sem quantização.
39,5 mil4 milJupyter NotebookApache-2.0Atualizado ontem
baidu-baige/LoongForge
Framework para treinar LLMs, VLMs, modelos de difusão e modelos incorporados em GPUs NVIDIA e XPUs Kunlun, baseado no Megatron-LM e em backends nativos do torch.
- Estrelas
- 694
- Forks
- 58
- Issues abertas
- 30
- Último commit
- há 16 horas
O que é?
O LoongForge é um framework de treinamento desenvolvido pela equipe Baige da Baidu AI Cloud para pré-treinamento, treinamento intermediário, SFT e LoRA de LLMs, modelos de visão e linguagem, modelos de difusão e modelos incorporados, como VLA e modelos de ação do mundo. As cargas de trabalho de LLM, VLM e difusão usam um backend Megatron, enquanto os modelos incorporados usam um backend nativo do torch com DDP, ZeRO-1, FSDP e HSDP.
O projeto inclui scripts de inicialização e configurações para mais de 40 modelos de código aberto, além de ferramentas para converter checkpoints entre os formatos Megatron e Hugging Face e para pré-processar dados. Ele oferece suporte a GPUs NVIDIA e XPUs Kunlun por meio de um design baseado em plugins e inclui recursos como sobreposição da comunicação de paralelismo de especialistas MoE, treinamento FP8, paralelismo de contexto e paralelismo heterogêneo por componente para VLMs.
O repositório é escrito em Python, tem licença Apache-2.0 e oferece imagens Docker e documentação de instalação e tutoriais.
Recursos principais
- 01Backends Megatron e nativos do torch para treinar LLMs, VLMs, modelos de difusão e modelos incorporados.
- 02Scripts de inicialização e configurações prontos para uso para mais de 40 modelos de código aberto.
- 03Funciona em GPUs NVIDIA e XPUs Kunlun.
- 04Oferece suporte a pré-treinamento, treinamento intermediário, SFT e LoRA.
- 05Inclui ferramentas para converter checkpoints entre Megatron e Hugging Face e para pré-processar dados.
- 06Oferece otimização da comunicação MoE, treinamento FP8 e paralelismo de contexto.
Casos de uso
- Pré-treinar ou ajustar um modelo de linguagem MoE grande em um cluster de GPUs com vários nós.
- Treinar um modelo de visão e linguagem com configurações de paralelismo independentes para as partes ViT e LLM.
- Ajustar políticas robóticas VLA, como Pi0.5, usando dados do LIBERO.
- Executar cargas de trabalho de treinamento de modelos grandes em hardware Kunlun XPU.
Antes de usar
- Requer GPUs NVIDIA ou XPUs Kunlun, portanto não é voltado para outros tipos de hardware.
- O código-fonte só foi disponibilizado publicamente em abril de 2026 e a primeira versão com tag é a v0.1.0, então o projeto ainda é novo.
Tópicos
Perguntas frequentes
- O que é LoongForge?
- Framework para treinar LLMs, VLMs, modelos de difusão e modelos incorporados em GPUs NVIDIA e XPUs Kunlun, baseado no Megatron-LM e em backends nativos do torch. O LoongForge é um framework de treinamento desenvolvido pela equipe Baige da Baidu AI Cloud para pré-treinamento, treinamento intermediário, SFT e LoRA de LLMs, modelos de visão e linguagem, modelos de difusão e modelos incorporados, como VLA e modelos de ação do mundo. As cargas de trabalho de LLM, VLM e difusão usam um backend Megatron, enquanto os modelos incorporados usam um backend nativo do torch com DDP, ZeRO-1, FSDP e HSDP.
- LoongForge é gratuito? Qual é a licença?
- LoongForge é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- LoongForge ainda é mantido?
- Manutenção ativa. O último commit de LoongForge foi em 19 de out. de 2026.
- Para que posso usar LoongForge?
- Pré-treinar ou ajustar um modelo de linguagem MoE grande em um cluster de GPUs com vários nós. Treinar um modelo de visão e linguagem com configurações de paralelismo independentes para as partes ViT e LLM. Ajustar políticas robóticas VLA, como Pi0.5, usando dados do LIBERO. Executar cargas de trabalho de treinamento de modelos grandes em hardware Kunlun XPU.
- Onde consigo LoongForge?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/baidu-baige/LoongForge
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Mecanismo de inferência local que executa o grande modelo Qwen3.8-Flash-Next em GPUs NVIDIA ou AMD de uso doméstico no Windows ou Linux, com APIs compatíveis com OpenAI e Anthropic.
28,4 mil3 milC++MITAtualizado há 16 horas
Uma CLI que detecta sua GPU, CPU e RAM e classifica os LLMs locais do HuggingFace que realmente rodam no seu hardware, com base em benchmarks, não na contagem de parâmetros.
6,8 mil373PythonMITAtualizado há 23 horas
Um modelo multimodal de pesos abertos com 9 bilhões de parâmetros para compreensão visual, raciocínio espacial, uso de ferramentas por agentes e pesquisa em IA incorporada, baseado em Qwen3.5 e C-RADIOv4-H.
3,1 mil540PythonApache-2.0Atualizado mês passado
Engine unificado de treinamento para modelos multimodais, com suporte a treinamento de VLMs, modelos de difusão e LLMs usando FSDP2, Muon e kernels Liger.
83238PythonSem licençaAtualizado anteontem
Configuração para servir o Mirai S 27B (um Qwen3.8-27B em GGUF) em uma RTX 4070 de 12 GB, com janela completa de 262 mil tokens e cache K/V q8_0.
10110PythonOtherAtualizado há 5 horas