Repolode
提交项目
kubeflow

kubeflow/trainer

基于 Kubernetes 的分布式 AI 模型训练与 LLM 微调平台，支持 PyTorch、JAX、XGBoost 等框架。

在 GitHub 查看官网
Star
2,251
Fork
1,087
未关闭 Issue
251
最近提交
14小时前

这是什么？

Kubeflow Trainer 是一个运行在 Kubernetes 上的分布式 AI 训练平台，用于模型训练和大语言模型（LLM）微调。它支持 PyTorch、MLX、HuggingFace、DeepSpeed、Megatron-LM、JAX、XGBoost 等多种框架，核心接口为 TrainJob 和 Runtime。

项目把 MPI 引入 Kubernetes，可以协调多节点、多 GPU 的训练任务，进程间通信延迟较低。它与 Kueue、Volcano 集成实现拓扑感知调度，与 Slurm Bridge 配合管理 Kubernetes 与 Slurm 混合集群，并可通过 KAI Scheduler 进行 GPU 感知调度。底层复用了 JobSet 和 LeaderWorkerSet 来编排工作负载。

分布式数据缓存可将大规模数据以零拷贝方式传输到 GPU 节点，降低内存占用。用户可通过 Kubeflow Python SDK 提交和管理任务。项目目前处于 alpha 阶段，API 可能发生变化。

核心功能

  • 01在 Kubernetes 上运行分布式训练和 LLM 微调任务。
  • 02支持 PyTorch、JAX、XGBoost、HuggingFace、DeepSpeed 和 Megatron-LM。
  • 03借助 MPI 协调多节点、多 GPU 任务。
  • 04与 Kueue、Volcano、Slurm Bridge、KAI Scheduler 集成完成调度。
  • 05提供分布式数据缓存，以零拷贝方式传输数据到 GPU 节点。
  • 06提供 Python SDK 用于提交 TrainJob。

适用场景

  • 在 Kubernetes GPU 集群上微调大语言模型。
  • 在类 HPC 基础设施上运行基于 MPI 的多节点训练。
  • 在混合集群中与 Slurm 任务一同调度 AI 训练作业。

快速上手

  1. 1

    按照 Kubeflow Trainer 官方文档中的入门指南进行安装

使用前须知

  • 该项目处于 alpha 阶段，API 可能会发生变化。
  • 它面向 Kubernetes 构建，因此运行它需要一个 Kubernetes 集群。

标签

#distributed-training#kubernetes#llm#fine-tuning#gpu#mpi#pytorch#mlops#ai#distributed

常见问题

trainer 是什么？
基于 Kubernetes 的分布式 AI 模型训练与 LLM 微调平台，支持 PyTorch、JAX、XGBoost 等框架。 Kubeflow Trainer 是一个运行在 Kubernetes 上的分布式 AI 训练平台，用于模型训练和大语言模型（LLM）微调。它支持 PyTorch、MLX、HuggingFace、DeepSpeed、Megatron-LM、JAX、XGBoost 等多种框架，核心接口为 TrainJob 和 Runtime。
trainer 可以免费使用吗？用的什么许可证？
trainer 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
trainer 还在维护吗？
活跃维护中。trainer 最近一次提交是在 2026年10月21日。
trainer 适合用来做什么？
在 Kubernetes GPU 集群上微调大语言模型。 在类 HPC 基础设施上运行基于 MPI 的多节点训练。 在混合集群中与 Slurm 任务一同调度 AI 训练作业。
trainer 怎么安装和运行？
按照 Kubeflow Trainer 官方文档中的入门指南进行安装
在哪里获取 trainer？
源代码和安装说明在 GitHub 上：https://github.com/kubeflow/trainer

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目