Sistema de código aberto para executar, gerenciar e escalar workloads de IA em Kubernetes, Slurm e mais de 20 provedores de nuvem ou GPU com uma única interface.
10,7 mil1,3 milPythonApache-2.0Atualizado anteontem
kubeflow/trainer
Plataforma nativa do Kubernetes para treinamento distribuído de modelos de IA e fine-tuning de LLMs com PyTorch, JAX, XGBoost e outros frameworks.
- Estrelas
- 2,251
- Forks
- 1,087
- Issues abertas
- 251
- Último commit
- há 13 horas
O que é?
O Kubeflow Trainer é uma plataforma nativa do Kubernetes para treinar modelos de IA e fazer fine-tuning de modelos de linguagem grandes. Ele executa jobs em frameworks como PyTorch, MLX, HuggingFace, DeepSpeed, Megatron-LM, JAX e XGBoost, e é baseado nas APIs TrainJob e Runtime.
O projeto leva o MPI ao Kubernetes para que jobs com vários nós e várias GPUs se comuniquem com baixa latência. Ele se integra ao Kueue e ao Volcano para agendamento com reconhecimento de topologia, ao Slurm Bridge para clusters híbridos de Kubernetes e Slurm e ao KAI Scheduler para posicionamento com reconhecimento de GPU. Também reutiliza o JobSet e o LeaderWorkerSet para orquestração.
Um cache de dados distribuído transmite grandes conjuntos de dados para nós com GPU usando transferência zero-copy. Os usuários podem gerenciar jobs pelo Kubeflow Python SDK. O projeto está atualmente em alfa, e suas APIs podem mudar.
Recursos principais
- 01Executa jobs de treinamento distribuído e fine-tuning de LLMs no Kubernetes.
- 02Oferece suporte a PyTorch, JAX, XGBoost, HuggingFace, DeepSpeed e Megatron-LM.
- 03Orquestra jobs com vários nós e várias GPUs usando MPI.
- 04Integra-se ao Kueue, Volcano, Slurm Bridge e KAI Scheduler para agendamento.
- 05Oferece um cache de dados distribuído com transferência zero-copy para nós com GPU.
- 06Disponibiliza um SDK Python para enviar TrainJobs.
Casos de uso
- Fazer fine-tuning de modelos de linguagem grandes em um cluster Kubernetes com GPUs.
- Executar treinamento baseado em MPI com vários nós em uma infraestrutura no estilo HPC.
- Agendar treinamento de IA junto com workloads do Slurm em um cluster híbrido.
Início rápido
- 1
Siga o guia oficial Getting Started na documentação do Kubeflow Trainer para instalá-lo
Antes de usar
- O projeto está em fase alfa e suas APIs podem mudar.
- Ele foi desenvolvido para Kubernetes, então você precisa de um cluster Kubernetes para executá-lo.
Tópicos
Perguntas frequentes
- O que é trainer?
- Plataforma nativa do Kubernetes para treinamento distribuído de modelos de IA e fine-tuning de LLMs com PyTorch, JAX, XGBoost e outros frameworks. O Kubeflow Trainer é uma plataforma nativa do Kubernetes para treinar modelos de IA e fazer fine-tuning de modelos de linguagem grandes. Ele executa jobs em frameworks como PyTorch, MLX, HuggingFace, DeepSpeed, Megatron-LM, JAX e XGBoost, e é baseado nas APIs TrainJob e Runtime.
- trainer é gratuito? Qual é a licença?
- trainer é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- trainer ainda é mantido?
- Manutenção ativa. O último commit de trainer foi em 21 de out. de 2026.
- Para que posso usar trainer?
- Fazer fine-tuning de modelos de linguagem grandes em um cluster Kubernetes com GPUs. Executar treinamento baseado em MPI com vários nós em uma infraestrutura no estilo HPC. Agendar treinamento de IA junto com workloads do Slurm em um cluster híbrido.
- Como instalar trainer?
- Siga o guia oficial Getting Started na documentação do Kubeflow Trainer para instalá-lo
- Onde consigo trainer?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/kubeflow/trainer
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Sistema baseado em PyTorch para treinamento e inferência distribuídos de grandes modelos de IA, com paralelismo, otimização de memória e treinamento heterogêneo.
IA e Machine Learning#deep-learning#distributed-training#model-parallelism#pipeline-parallelism#pytorch
41,4 mil4,5 milPythonApache-2.0Atualizado ontem
Um framework Python para criar, escalar e implantar workflows de IA e ML, de protótipos em notebooks a orquestradores de produção.
10,3 mil1,4 milPythonApache-2.0Atualizado há 6 dias
Biblioteca de otimização de deep learning que facilita e torna mais eficiente o treinamento distribuído e a inferência de modelos grandes.
43,2 mil5 milPythonApache-2.0Atualizado há 3 dias
Biblioteca Python que executa LLMs grandes camada por camada, permitindo inferência com modelos da classe 70B em uma única GPU de 4 GB, sem quantização.
39,5 mil4 milJupyter NotebookApache-2.0Atualizado há 3 dias
Uma ponte de GPU por IP que permite que máquinas sem GPU usem GPUs CUDA instaladas em servidores remotos pela rede.
2,5 mil140C++Apache-2.0Atualizado há 6 dias