Sistema de código abierto para ejecutar, gestionar y escalar cargas de trabajo de IA en Kubernetes, Slurm y más de 20 nubes o proveedores de GPU desde una sola interfaz.
10,7 mil1,3 milPythonApache-2.0Actualizado anteayer
kubeflow/trainer
Plataforma nativa de Kubernetes para el entrenamiento distribuido de modelos de IA y el ajuste fino de LLM con PyTorch, JAX, XGBoost y otros frameworks.
- Estrellas
- 2,251
- Forks
- 1,087
- Issues abiertos
- 251
- Último commit
- hace 14 horas
¿Qué es?
Kubeflow Trainer es una plataforma nativa de Kubernetes para entrenar modelos de IA y ajustar grandes modelos de lenguaje. Ejecuta trabajos con frameworks como PyTorch, MLX, HuggingFace, DeepSpeed, Megatron-LM, JAX y XGBoost, y se basa en las API TrainJob y Runtime.
El proyecto incorpora MPI a Kubernetes para que los trabajos multinodo y con varias GPU puedan comunicarse con baja latencia. Se integra con Kueue y Volcano para la planificación con reconocimiento de la topología, Slurm Bridge para clústeres híbridos de Kubernetes y Slurm, y KAI Scheduler para la asignación de recursos con reconocimiento de GPU. Reutiliza JobSet y LeaderWorkerSet para la orquestación.
Una caché de datos distribuida transmite grandes conjuntos de datos a los nodos GPU mediante transferencias sin copia. Los usuarios pueden gestionar los trabajos con el SDK de Python de Kubeflow. El proyecto está actualmente en fase alfa, por lo que sus API pueden cambiar.
Funciones clave
- 01Ejecuta trabajos de entrenamiento distribuido y ajuste fino de LLM en Kubernetes.
- 02Es compatible con PyTorch, JAX, XGBoost, HuggingFace, DeepSpeed y Megatron-LM.
- 03Orquesta trabajos multinodo y con varias GPU mediante MPI.
- 04Se integra con Kueue, Volcano, Slurm Bridge y KAI Scheduler para la planificación.
- 05Ofrece una caché de datos distribuida con transferencias sin copia a nodos GPU.
- 06Ofrece un SDK de Python para enviar TrainJobs.
Casos de uso
- Ajustar grandes modelos de lenguaje en un clúster de Kubernetes con GPU.
- Ejecutar entrenamiento multinodo basado en MPI en infraestructura de tipo HPC.
- Planificar trabajos de entrenamiento de IA junto con cargas de trabajo de Slurm en un clúster híbrido.
Inicio rápido
- 1
Sigue la guía oficial Getting Started de la documentación de Kubeflow Trainer para instalarlo
Antes de usarlo
- El proyecto está en fase alfa y sus API pueden cambiar.
- Está diseñado para Kubernetes, por lo que necesitas un clúster de Kubernetes para ejecutarlo.
Temas
Preguntas frecuentes
- ¿Qué es trainer?
- Plataforma nativa de Kubernetes para el entrenamiento distribuido de modelos de IA y el ajuste fino de LLM con PyTorch, JAX, XGBoost y otros frameworks. Kubeflow Trainer es una plataforma nativa de Kubernetes para entrenar modelos de IA y ajustar grandes modelos de lenguaje. Ejecuta trabajos con frameworks como PyTorch, MLX, HuggingFace, DeepSpeed, Megatron-LM, JAX y XGBoost, y se basa en las API TrainJob y Runtime.
- ¿trainer es gratuito? ¿Qué licencia tiene?
- trainer es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿trainer sigue mantenido?
- Mantenimiento activo. El último commit de trainer fue el 21 oct 2026.
- ¿Para qué puedo usar trainer?
- Ajustar grandes modelos de lenguaje en un clúster de Kubernetes con GPU. Ejecutar entrenamiento multinodo basado en MPI en infraestructura de tipo HPC. Planificar trabajos de entrenamiento de IA junto con cargas de trabajo de Slurm en un clúster híbrido.
- ¿Cómo se instala trainer?
- Sigue la guía oficial Getting Started de la documentación de Kubeflow Trainer para instalarlo
- ¿Dónde consigo trainer?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/kubeflow/trainer
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Sistema de entrenamiento e inferencia distribuidos, basado en PyTorch, para modelos grandes de IA, con paralelismo, optimización de memoria y entrenamiento heterogéneo.
IA y Machine Learning#deep-learning#distributed-training#model-parallelism#pipeline-parallelism#pytorch
41,4 mil4,5 milPythonApache-2.0Actualizado ayer
Framework de Python para crear, escalar y desplegar flujos de trabajo de IA y ML, desde prototipos en notebooks hasta orquestadores de producción.
10,3 mil1,4 milPythonApache-2.0Actualizado hace 6 días
Una biblioteca de optimización de deep learning que facilita y hace más eficiente el entrenamiento distribuido y la inferencia de modelos grandes.
43,2 mil5 milPythonApache-2.0Actualizado hace 3 días
Biblioteca de Python que ejecuta modelos de lenguaje grandes capa por capa para que los modelos de 70B puedan inferir en una sola GPU de 4 GB, sin cuantización.
39,5 mil4 milJupyter NotebookApache-2.0Actualizado hace 3 días
Un puente GPU-over-IP que permite a equipos sin GPU usar por red las GPU CUDA instaladas en servidores remotos.
2,5 mil140C++Apache-2.0Actualizado hace 6 días