Apache Airflowは、Pythonコードで定義したワークフロー(DAG)の作成、スケジュール設定、監視をプログラムから行うためのプラットフォームです。
apache/dolphinscheduler
複雑なデータパイプラインの構築、スケジューリング、監視に使える、分散型のローコードデータオーケストレーションプラットフォーム。
- スター
- 14,528
- フォーク
- 5,117
- 未解決の Issue
- 120
- 最終コミット
- 昨日
これは何?
Apache DolphinSchedulerは、データパイプライン向けのワークフローオーケストレーションプラットフォームです。タスクとその依存関係を定義し、Web UI、Python SDK、Open APIからスケジュール設定や監視を行えます。幅広い種類の組み込みタスクを備えているため、スケジューリング用のコードを書かずに、ドラッグ&ドロップで一般的なジョブを組み立てられます。
水平スケーリングを想定した、分散型のマルチマスター・マルチワーカー構成を採用しています。Standalone、Cluster、Docker、Kubernetesの各モードでデプロイできます。ワークフローと個々のワークフローインスタンスはバージョン管理され、実行中のワークフローやタスクはいつでも一時停止、停止、再開できます。マルチテナント機能に加え、プロジェクトやデータソースの権限管理、バックフィルにも対応しています。
マスター、ワーカー、データベースの状態とサーバーのリソース使用状況を表示するモニター画面も用意されています。また、MySQL、PostgreSQL、Hive、Trinoなどの外部データソースに接続できます。
主な機能
- 01Web UIでのドラッグ&ドロップによるワークフロー設計に加え、Python SDKとOpen APIからも利用可能。
- 02Standalone、Cluster、Docker、Kubernetesの複数のデプロイモードに対応。
- 03水平スケーリングが可能なマルチマスター・マルチワーカー構成。
- 04一時停止、停止、再開の操作に対応したワークフローとタスクのバージョン管理。
- 05プロジェクトとデータソースの権限管理を備えたマルチテナント機能。
- 06バックフィル機能と、マスター、ワーカー、データベースの状態を確認できるモニター画面。
ユースケース
- タスク間の依存関係を設定し、定期的なETLジョブやデータウェアハウスジョブをスケジュールする。
- 複数のクラウドやデータセンターにまたがるデータワークフローをオーケストレーションする。
- 共有のスケジューリングプラットフォーム上で、複数チームに分離されたプロジェクトと権限を提供する。
- Kubernetesクラスター上でコンテナ化されたタスクを実行する。
クイックスタート
- 1
Dockerですぐに開始
- 2
スタンドアロンモードで開始
- 3
Kubernetesにデプロイ
使う前に知っておきたいこと
- 複数のコンポーネントで構成されるため、セルフホストには単一のインストールコマンド以上の実作業が必要です。
- READMEのクイックスタートリンクは、1行のインストール手順ではなく、3.3.0-alphaのドキュメントを参照しています。
トピック
よくある質問
- dolphinscheduler とは?
- 複雑なデータパイプラインの構築、スケジューリング、監視に使える、分散型のローコードデータオーケストレーションプラットフォーム。 Apache DolphinSchedulerは、データパイプライン向けのワークフローオーケストレーションプラットフォームです。タスクとその依存関係を定義し、Web UI、Python SDK、Open APIからスケジュール設定や監視を行えます。幅広い種類の組み込みタスクを備えているため、スケジューリング用のコードを書かずに、ドラッグ&ドロップで一般的なジョブを組み立てられます。
- dolphinscheduler は無料で使えますか?ライセンスは?
- dolphinscheduler は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- dolphinscheduler は今もメンテナンスされていますか?
- 活発にメンテナンス中。dolphinscheduler の最終コミットは 2026年10月21日 です。
- dolphinscheduler は何に使えますか?
- タスク間の依存関係を設定し、定期的なETLジョブやデータウェアハウスジョブをスケジュールする。 複数のクラウドやデータセンターにまたがるデータワークフローをオーケストレーションする。 共有のスケジューリングプラットフォーム上で、複数チームに分離されたプロジェクトと権限を提供する。 Kubernetesクラスター上でコンテナ化されたタスクを実行する。
- dolphinscheduler のインストール方法は?
- Dockerですぐに開始 スタンドアロンモードで開始 Kubernetesにデプロイ
- dolphinscheduler はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/apache/dolphinscheduler
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Rustエンジンを基盤とし、ストリーム処理、リアルタイム分析、LLMパイプライン、RAGに対応するPython ETLフレームワーク。
テーブル、データセット、MLモデル、レポートなどのデータアセットを定義・実行・監視するPythonオーケストレーションプラットフォーム。
自然言語で記述した大規模な構造化・非構造化データ向けの、LLMを活用するPython製map-reduce/ETLパイプラインシステム。
Singer tap・targetを使い、Hub経由で600以上のAPIやデータベースと連携するELTパイプラインを構築できる、宣言型のコードファーストなデータ統合エンジン。
既存のスクリプト、SSHコマンド、コンテナを宣言的なYAMLから実行できる、データベース不要のセルフホスト型ワークフローオーケストレーター。