apache/airflow

これは何？

主な機能

• 01Pythonコードでワークフローを定義でき、DAGの動的生成やJinjaテンプレートに対応。
• 02依存関係を守りながら、複数のワーカー上でタスクを実行するスケジューラー。
• 03グリッド、グラフ、アセットの各ビューに加え、実行状況の確認やバックフィルに対応したWeb UI。
• 04組み込みのオペレーターを備え、プロバイダーディストリビューションで拡張可能。
• 05DAGの管理や運用に使えるコマンドラインユーティリティ。
• 06pipまたはDockerイメージからインストールでき、Kubernetesに対応。

ユースケース

• 夜間のETLまたはELTデータパイプラインのスケジュール設定と監視。
• 機械学習のトレーニング、評価、デプロイの各ステップのオーケストレーション。
• データ準備やモデル呼び出しなど、LLMまたはAIパイプラインの各ステップの連携。

クイックスタート

1. 1

   README の「Installing from PyPI」セクションの説明に従って、PyPI から apache-airflow パッケージをインストールします

2. 2

   公式のスタートガイドに従って Airflow を実行します

使う前に知っておきたいこと

• !Windows はネイティブではサポートされていません。WSL2 または Linux コンテナを使用してください。
• !SQLite はテスト専用です。本番環境では使用しないでください。
• !依存関係の処理が複雑なため、PyPI からのインストールには注意が必要です。

トピック

よくある質問

airflow とは？

Apache Airflowは、Pythonコードで定義したワークフロー（DAG）の作成、スケジュール設定、監視をプログラムから行うためのプラットフォームです。 Apache Airflowでは、ワークフローをコードとして定義できます。各ワークフローは、依存関係を持つタスクで構成されたDAGです。スケジューラーは依存関係に従って、複数のワーカー上でタスクを実行します。パイプラインは通常のPythonコードなので、動的に生成したり、Jinjaテンプレートでパラメーター化したりでき、バージョン管理やテストも行えます。

airflow は無料で使えますか？ライセンスは？

airflow は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

airflow は今もメンテナンスされていますか？

活発にメンテナンス中。airflow の最終コミットは 2026年10月20日 です。

airflow は何に使えますか？

夜間のETLまたはELTデータパイプラインのスケジュール設定と監視。 機械学習のトレーニング、評価、デプロイの各ステップのオーケストレーション。 データ準備やモデル呼び出しなど、LLMまたはAIパイプラインの各ステップの連携。

airflow のインストール方法は？

README の「Installing from PyPI」セクションの説明に従って、PyPI から apache-airflow パッケージをインストールします 公式のスタートガイドに従って Airflow を実行します

airflow はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/apache/airflow