Repolode
Enviar
EvolvingLMMs-Lab

EvolvingLMMs-Lab/lmms-engine

Engine unificado de treinamento para modelos multimodais, com suporte a treinamento de VLMs, modelos de difusão e LLMs usando FSDP2, Muon e kernels Liger.

Ver no GitHubSite
Estrelas
832
Forks
38
Issues abertas
11
Último commit
ontem

O que é?

LMMs Engine é um framework Python de treinamento para modelos multimodais. Ele é voltado a desenvolvedores que querem fazer pré-treinamento ou fine-tuning de modelos de visão e linguagem, multimodais (imagem, áudio e texto), de difusão e de linguagem usando um único pipeline configurado por arquivos de configuração, iniciado com torchrun, Accelerate ou em uma única GPU.

O projeto inclui configurações de exemplo para vários modelos, entre eles Qwen2.5-VL, Qwen3-VL, Qwen3-Omni MoE, BAGEL, WanVideo e SiT. Ele oferece treinamento distribuído com FSDP2, paralelismo tensorial, de sequência Ulysses e de especialistas, além de opções para economizar memória e acelerar o treinamento, como empacotamento de sequências, remoção de padding do Flash Attention e kernels fundidos do Liger.

É possível adicionar modelos, datasets e processadores usando decorators de registro, e os trainers são selecionados de acordo com a tarefa — desde treinamento geral de VLM/LM até geração de vídeo com flow matching.

Recursos principais

  • 01Oferece suporte a FSDP2 e ao paralelismo tensorial, de sequência Ulysses e de especialistas para treinamento distribuído.
  • 02Inclui o otimizador Muon com ortogonalização Newton-Schulz e kernels Triton.
  • 03Oferece empacotamento de sequências e remoção de padding do Flash Attention para reduzir o processamento de padding.
  • 04Aplica kernels fundidos do Liger, como CrossEntropy, RMSNorm, RoPE e SwiGLU.
  • 05Disponibiliza registros para modelos, datasets e processadores personalizados.
  • 06Inclui configurações de exemplo e scripts de execução para diversos modelos VLM, MoE e de difusão.

Casos de uso

  • Fazer pré-treinamento ou fine-tuning de modelos de visão e linguagem, como Qwen-VL ou LLaVA, usando grandes datasets multimodais.
  • Treinar modelos de difusão ou de geração de vídeo, como WanVideo ou SiT, em clusters com várias GPUs.
  • Executar fine-tuning multimodal com contexto longo usando empacotamento e paralelismo de sequências.
  • Experimentar modelos MoE usando paralelismo de especialistas.

Tópicos

#multimodal#llm#distributed-training#pytorch#fsdp#diffusion-models#vision-language-model#video-generation#agi#large-language-models

Perguntas frequentes

O que é lmms-engine?
Engine unificado de treinamento para modelos multimodais, com suporte a treinamento de VLMs, modelos de difusão e LLMs usando FSDP2, Muon e kernels Liger. LMMs Engine é um framework Python de treinamento para modelos multimodais. Ele é voltado a desenvolvedores que querem fazer pré-treinamento ou fine-tuning de modelos de visão e linguagem, multimodais (imagem, áudio e texto), de difusão e de linguagem usando um único pipeline configurado por arquivos de configuração, iniciado com torchrun, Accelerate ou em uma única GPU.
lmms-engine é gratuito? Qual é a licença?
lmms-engine não declara licença. O código é público, mas sem licença você não tem permissão explícita para reutilizá-lo; fale com o autor antes de depender dele.
lmms-engine ainda é mantido?
Manutenção ativa. O último commit de lmms-engine foi em 18 de out. de 2026.
Para que posso usar lmms-engine?
Fazer pré-treinamento ou fine-tuning de modelos de visão e linguagem, como Qwen-VL ou LLaVA, usando grandes datasets multimodais. Treinar modelos de difusão ou de geração de vídeo, como WanVideo ou SiT, em clusters com várias GPUs. Executar fine-tuning multimodal com contexto longo usando empacotamento e paralelismo de sequências. Experimentar modelos MoE usando paralelismo de especialistas.
Onde consigo lmms-engine?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/EvolvingLMMs-Lab/lmms-engine

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados