Repolode
Предложить
kubeflow

kubeflow/trainer

Нативная для Kubernetes платформа для распределённого обучения AI-моделей и дообучения LLM с PyTorch, JAX, XGBoost и другими фреймворками.

Открыть на GitHubСайт
Звёзды
2,251
Форки
1,087
Открытые issues
251
Последний коммит
13 часов назад

Что это?

Kubeflow Trainer — нативная для Kubernetes платформа для обучения AI-моделей и дообучения больших языковых моделей. Она запускает задачи с использованием таких фреймворков, как PyTorch, MLX, HuggingFace, DeepSpeed, Megatron-LM, JAX и XGBoost, и опирается на API TrainJob и Runtime.

Проект добавляет MPI в Kubernetes, чтобы задачи на нескольких узлах и GPU могли обмениваться данными с низкой задержкой. Он интегрируется с Kueue и Volcano для планирования с учётом топологии, со Slurm Bridge — для гибридных кластеров Kubernetes и Slurm, а с KAI Scheduler — для размещения задач с учётом GPU. Для оркестрации используются JobSet и LeaderWorkerSet.

Распределённый кеш данных передаёт большие наборы данных на узлы с GPU без копирования. Управлять задачами можно через Kubeflow Python SDK. Сейчас проект находится в стадии alpha, поэтому его API могут измениться.

Ключевые возможности

  • 01Запускает задачи распределённого обучения и дообучения LLM в Kubernetes.
  • 02Поддерживает PyTorch, JAX, XGBoost, HuggingFace, DeepSpeed и Megatron-LM.
  • 03Оркестрирует задачи на нескольких узлах и GPU с помощью MPI.
  • 04Интегрируется с Kueue, Volcano, Slurm Bridge и KAI Scheduler для планирования.
  • 05Предоставляет распределённый кеш данных с передачей на узлы с GPU без копирования.
  • 06Предоставляет Python SDK для отправки TrainJob.

Сценарии использования

  • Дообучение больших языковых моделей в Kubernetes-кластере с GPU.
  • Запуск обучения на нескольких узлах с MPI в инфраструктуре типа HPC.
  • Планирование задач обучения AI наряду с задачами Slurm в гибридном кластере.

Быстрый старт

  1. 1

    Чтобы установить Kubeflow Trainer, следуйте официальному руководству Getting Started в его документации

Что важно знать

  • Проект находится на стадии альфа-версии, поэтому его API могут измениться.
  • Он предназначен для Kubernetes, поэтому для его запуска нужен кластер Kubernetes.

Темы

#distributed-training#kubernetes#llm#fine-tuning#gpu#mpi#pytorch#mlops#ai#distributed

Частые вопросы

Что такое trainer?
Нативная для Kubernetes платформа для распределённого обучения AI-моделей и дообучения LLM с PyTorch, JAX, XGBoost и другими фреймворками. Kubeflow Trainer — нативная для Kubernetes платформа для обучения AI-моделей и дообучения больших языковых моделей. Она запускает задачи с использованием таких фреймворков, как PyTorch, MLX, HuggingFace, DeepSpeed, Megatron-LM, JAX и XGBoost, и опирается на API TrainJob и Runtime.
trainer можно использовать бесплатно? Какая у него лицензия?
trainer распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
trainer всё ещё поддерживается?
Активно поддерживается. Последний коммит в trainer — 21 окт. 2026 г..
Для чего можно использовать trainer?
Дообучение больших языковых моделей в Kubernetes-кластере с GPU. Запуск обучения на нескольких узлах с MPI в инфраструктуре типа HPC. Планирование задач обучения AI наряду с задачами Slurm в гибридном кластере.
Как установить trainer?
Чтобы установить Kubeflow Trainer, следуйте официальному руководству Getting Started в его документации
Где скачать trainer?
Исходный код и инструкции по установке — на GitHub: https://github.com/kubeflow/trainer

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты