Apache Airflow 是一个用代码编写、调度和监控工作流的平台,工作流以 Python 定义为 Dag。
apache/dolphinscheduler
一个分布式、低代码的数据编排平台,用于构建、调度和监控复杂的数据管道工作流。
- Star
- 14,528
- Fork
- 5,117
- 未关闭 Issue
- 120
- 最近提交
- 23小时前
这是什么?
Apache DolphinScheduler 是面向数据管道的工作流编排平台。用户可以定义任务及其依赖关系,并通过 Web UI、Python SDK 或 Open API 进行调度和监控。平台内置多种任务类型,常见作业可以通过拖拽快速组装,无需编写调度代码。
平台采用去中心化的多 Master、多 Worker 架构,支持水平扩展,可以通过 Standalone、Cluster、Docker 或 Kubernetes 方式部署。工作流及其实例支持版本控制,运行中的工作流和任务可随时暂停、停止或恢复。项目和数据源支持多租户与权限控制,并提供补数据功能。
平台还提供监控视图,可查看 Master、Worker 和数据库的运行状态及服务器资源占用,并能接入 MySQL、PostgreSQL、Hive、Trino 等外部数据源。
核心功能
- 01通过 Web UI 拖拽设计工作流,并支持 Python SDK 和 Open API 调用。
- 02支持 Standalone、Cluster、Docker 和 Kubernetes 四种部署方式。
- 03多 Master、多 Worker 架构,支持水平扩展。
- 04工作流和任务支持版本控制,可随时暂停、停止或恢复。
- 05支持多租户,以及项目和数据源的权限控制。
- 06内置补数据功能,并提供 Master、Worker 和数据库的健康监控视图。
适用场景
- 调度带有任务依赖关系的周期性 ETL 或数据仓库作业。
- 在多个云或数据中心之间编排数据工作流。
- 在共享调度平台上为多个团队提供相互隔离的项目和权限。
- 在 Kubernetes 集群中运行容器化任务。
快速上手
- 1
使用 Docker 快速体验
- 2
以单机模式启动
- 3
在 Kubernetes 上部署
使用前须知
- 部署包含多个组件,自行搭建需要一定的配置工作,不是一条安装命令即可完成。
- README 中的快速入门链接指向 3.3.0-alpha 版本文档,而非单一的一键安装方式。
标签
常见问题
- dolphinscheduler 是什么?
- 一个分布式、低代码的数据编排平台,用于构建、调度和监控复杂的数据管道工作流。 Apache DolphinScheduler 是面向数据管道的工作流编排平台。用户可以定义任务及其依赖关系,并通过 Web UI、Python SDK 或 Open API 进行调度和监控。平台内置多种任务类型,常见作业可以通过拖拽快速组装,无需编写调度代码。
- dolphinscheduler 可以免费使用吗?用的什么许可证?
- dolphinscheduler 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- dolphinscheduler 还在维护吗?
- 活跃维护中。dolphinscheduler 最近一次提交是在 2026年10月21日。
- dolphinscheduler 适合用来做什么?
- 调度带有任务依赖关系的周期性 ETL 或数据仓库作业。 在多个云或数据中心之间编排数据工作流。 在共享调度平台上为多个团队提供相互隔离的项目和权限。 在 Kubernetes 集群中运行容器化任务。
- dolphinscheduler 怎么安装和运行?
- 使用 Docker 快速体验 以单机模式启动 在 Kubernetes 上部署
- 在哪里获取 dolphinscheduler?
- 源代码和安装说明在 GitHub 上:https://github.com/apache/dolphinscheduler
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
4.7万1.8万PythonApache-2.0更新于 前天
基于 Rust 引擎的 Python ETL 框架,用于流处理、实时分析、LLM 管道和 RAG。
6.2万1683PythonOther更新于 前天
用于定义、运行和监控数据资产(表、数据集、机器学习模型、报表)的 Python 编排平台。
1.6万2366PythonApache-2.0更新于 8小时前
基于 LLM 的 Python 数据处理与 ETL 系统,用自然语言描述操作,对大量结构化与非结构化数据做 map-reduce 处理。
4137452PythonMIT更新于 12天前
声明式、代码优先的数据集成引擎,基于 Singer 的 tap 与 target 构建 ELT 数据管道。
2667274PythonMIT更新于 昨天
可自托管的工作流编排工具,用声明式 YAML 串联现有脚本、SSH 命令和容器,单个二进制文件即可运行,无需数据库。
4391378GoGPL-3.0更新于 3天前