Repolode
apache

apache/dolphinscheduler

一个分布式、低代码的数据编排平台,用于构建、调度和监控复杂的数据管道工作流。

可替代:Apache Airflow CloudControl-MAzkaban

Star
14,528
Fork
5,117
未关闭 Issue
120
最近提交
23小时前

这是什么?

Apache DolphinScheduler 是面向数据管道的工作流编排平台。用户可以定义任务及其依赖关系,并通过 Web UI、Python SDK 或 Open API 进行调度和监控。平台内置多种任务类型,常见作业可以通过拖拽快速组装,无需编写调度代码。

平台采用去中心化的多 Master、多 Worker 架构,支持水平扩展,可以通过 Standalone、Cluster、Docker 或 Kubernetes 方式部署。工作流及其实例支持版本控制,运行中的工作流和任务可随时暂停、停止或恢复。项目和数据源支持多租户与权限控制,并提供补数据功能。

平台还提供监控视图,可查看 Master、Worker 和数据库的运行状态及服务器资源占用,并能接入 MySQL、PostgreSQL、Hive、Trino 等外部数据源。

核心功能

  • 01通过 Web UI 拖拽设计工作流,并支持 Python SDK 和 Open API 调用。
  • 02支持 Standalone、Cluster、Docker 和 Kubernetes 四种部署方式。
  • 03多 Master、多 Worker 架构,支持水平扩展。
  • 04工作流和任务支持版本控制,可随时暂停、停止或恢复。
  • 05支持多租户,以及项目和数据源的权限控制。
  • 06内置补数据功能,并提供 Master、Worker 和数据库的健康监控视图。

适用场景

  • 调度带有任务依赖关系的周期性 ETL 或数据仓库作业。
  • 在多个云或数据中心之间编排数据工作流。
  • 在共享调度平台上为多个团队提供相互隔离的项目和权限。
  • 在 Kubernetes 集群中运行容器化任务。

快速上手

  1. 1

    使用 Docker 快速体验

  2. 2

    以单机模式启动

  3. 3

    在 Kubernetes 上部署

使用前须知

  • 部署包含多个组件,自行搭建需要一定的配置工作,不是一条安装命令即可完成。
  • README 中的快速入门链接指向 3.3.0-alpha 版本文档,而非单一的一键安装方式。

标签

常见问题

dolphinscheduler 是什么?
一个分布式、低代码的数据编排平台,用于构建、调度和监控复杂的数据管道工作流。 Apache DolphinScheduler 是面向数据管道的工作流编排平台。用户可以定义任务及其依赖关系,并通过 Web UI、Python SDK 或 Open API 进行调度和监控。平台内置多种任务类型,常见作业可以通过拖拽快速组装,无需编写调度代码。
dolphinscheduler 可以免费使用吗?用的什么许可证?
dolphinscheduler 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
dolphinscheduler 还在维护吗?
活跃维护中。dolphinscheduler 最近一次提交是在 2026年10月21日。
dolphinscheduler 适合用来做什么?
调度带有任务依赖关系的周期性 ETL 或数据仓库作业。 在多个云或数据中心之间编排数据工作流。 在共享调度平台上为多个团队提供相互隔离的项目和权限。 在 Kubernetes 集群中运行容器化任务。
dolphinscheduler 怎么安装和运行?
使用 Docker 快速体验 以单机模式启动 在 Kubernetes 上部署
在哪里获取 dolphinscheduler?
源代码和安装说明在 GitHub 上:https://github.com/apache/dolphinscheduler

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目