基于 Kubernetes 的 AI 模型推理平台,统一部署和服务预测式与生成式模型,支持多种机器学习框架。
kuberay-project/kuberay
一个在 Kubernetes 上部署和管理 Ray 应用的 Operator,通过 RayCluster、RayJob 和 RayService 资源运行工作负载。
- Star
- 2,739
- Fork
- 894
- 未关闭 Issue
- 718
- 最近提交
- 前天
这是什么?
KubeRay 是一个开源的 Kubernetes Operator,用于在 Kubernetes 上运行 Ray 应用。它提供三种自定义资源:RayCluster 负责管理 Ray 集群的创建、删除、自动伸缩和容错;RayJob 在集群就绪后自动创建 RayCluster 并提交任务,任务结束后可自动清理集群;RayService 将 RayCluster 与 Ray Serve 部署组合在一起,支持零停机升级和高可用。
核心组件由项目官方维护。可选的生态组件包括 kubectl 插件(Beta)、API Server(Alpha)和控制台(实验性)。项目可与 Prometheus、Grafana、Volcano、Kueue、Apache YuniKorn 等 Kubernetes 生态工具集成,是一个采用 Apache-2.0 许可证的 CNCF 沙箱项目。
核心功能
- 01管理 RayCluster 的生命周期,包括自动伸缩和容错。
- 02通过 RayJob 运行 Ray 任务,任务完成后可自动删除集群。
- 03借助 RayService 部署 Ray Serve 应用,支持零停机升级。
- 04提供可选的 kubectl 插件,简化常见的 Ray 操作。
适用场景
- 在共享的 Kubernetes 集群上运行分布式训练任务。
- 在 Kubernetes 上使用 Ray Serve 部署机器学习模型。
- 运行需要临时 Ray 集群的批量推理或数据处理任务。
快速上手
- 1
打开 Ray 文档中的 RayCluster 快速入门
- 2
如需 RayJob 或 RayService,请按 Ray 文档中的对应快速入门操作
使用前须知
- 需要 Kubernetes 集群,安装配置需参照 Ray 文档而非单条安装命令。
- KubeRay APIServer 处于 Alpha 阶段,仪表盘为实验性功能,尚不适合生产环境。
- kubectl 插件仍处于 Beta 阶段。
标签
常见问题
- kuberay 是什么?
- 一个在 Kubernetes 上部署和管理 Ray 应用的 Operator,通过 RayCluster、RayJob 和 RayService 资源运行工作负载。 KubeRay 是一个开源的 Kubernetes Operator,用于在 Kubernetes 上运行 Ray 应用。它提供三种自定义资源:RayCluster 负责管理 Ray 集群的创建、删除、自动伸缩和容错;RayJob 在集群就绪后自动创建 RayCluster 并提交任务,任务结束后可自动清理集群;RayService 将 RayCluster 与 Ray Serve 部署组合在一起,支持零停机升级和高可用。
- kuberay 可以免费使用吗?用的什么许可证?
- kuberay 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- kuberay 还在维护吗?
- 活跃维护中。kuberay 最近一次提交是在 2026年10月20日。
- kuberay 适合用来做什么?
- 在共享的 Kubernetes 集群上运行分布式训练任务。 在 Kubernetes 上使用 Ray Serve 部署机器学习模型。 运行需要临时 Ray 集群的批量推理或数据处理任务。
- kuberay 怎么安装和运行?
- 打开 Ray 文档中的 RayCluster 快速入门 如需 RayJob 或 RayService,请按 Ray 文档中的对应快速入门操作
- 在哪里获取 kuberay?
- 源代码和安装说明在 GitHub 上:https://github.com/kuberay-project/kuberay
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
开源的 GPU 算力编排控制平面,统一管理各类 GPU 云、Kubernetes 与本地集群上的训练和推理任务。
微软出品的 12 周 24 课初学者 AI 课程,涵盖符号 AI、神经网络、计算机视觉、NLP 和 AI 伦理,配有 PyTorch 与 TensorFlow 代码。
Ray 是一个统一的框架,可将 Python 和 AI 应用从笔记本扩展到集群运行。
Hugging Face 推出的 Python 库,一行代码即可加载 Hub 上的公开 AI 数据集,并用基于 Arrow 的工具高效预处理。
一份整理 PyTorch 相关开源项目、库、模型实现与教程的资源清单。