YAMLで定義したデータ、AI、インフラのワークフローをスケジュール実行・起動できる、オープンソースのイベント駆動型オーケストレーションプラットフォーム。
PrefectHQ/prefect
スクリプトをスケジュール実行、リトライ、キャッシュ、イベントベースの自動化に対応した本番データパイプラインへ変換する、Python製ワークフローオーケストレーションフレームワーク。
代替できる製品:Apache Airflow
- スター
- 24,060
- フォーク
- 2,608
- 未解決の Issue
- 929
- 最終コミット
- 8 時間前
これは何?
Prefectは、Pythonでデータパイプラインを構築するためのワークフローオーケストレーションフレームワークです。通常の関数にflowおよびtaskデコレーターを付けるだけで、別途DSLを使わずに、スケジュール実行、キャッシュ、リトライ、依存関係の処理、イベントベースの自動化を利用できます。
実行状況は記録され、UIを備えたセルフホスト型のPrefect server、またはマネージドサービスであるPrefect Cloudのダッシュボードから監視できます。デプロイはcron式でスケジュールするか、UIまたはCLIから手動で実行でき、イベントをきっかけに起動することもできます。
このパッケージにはPython 3.11以降が必要で、pipまたはuvでインストールできます。リモートのPrefect serverとの通信だけが必要な環境向けに、より軽量なprefect-clientパッケージも用意されています。
主な機能
- 01デコレーターを使ってPython関数をflowやtaskに変換
- 02cron式によるデプロイのスケジュール実行
- 03taskのリトライ、キャッシュ、依存関係の処理
- 04実行を起動するイベントベースの自動化
- 05実行状況の監視に使えるWeb UIを備えたセルフホスト型Prefect server
ユースケース
- 場当たり的なデータスクリプトを、スケジュール実行と可観測性を備えた本番パイプラインへ移行する
- リトライや依存関係の順序制御が必要なETLやMLの学習ジョブをオーケストレーションする
- 他のシステムからのイベントに応じてワークフローを実行する
クイックスタート
- 1
pipでPrefectをインストールします
pip install -U prefect - 2
flowとtaskのデコレーターを使ってPythonファイルを作成し、実行します
- 3
Prefectサーバーを起動し、http://localhost:4200 でUIを開きます
prefect server start
使う前に知っておきたいこと
- Python 3.11以降が必要です。
トピック
よくある質問
- prefect とは?
- スクリプトをスケジュール実行、リトライ、キャッシュ、イベントベースの自動化に対応した本番データパイプラインへ変換する、Python製ワークフローオーケストレーションフレームワーク。 Prefectは、Pythonでデータパイプラインを構築するためのワークフローオーケストレーションフレームワークです。通常の関数にflowおよびtaskデコレーターを付けるだけで、別途DSLを使わずに、スケジュール実行、キャッシュ、リトライ、依存関係の処理、イベントベースの自動化を利用できます。
- prefect は無料で使えますか?ライセンスは?
- prefect は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- prefect は今もメンテナンスされていますか?
- 活発にメンテナンス中。prefect の最終コミットは 2026年10月22日 です。
- prefect は何に使えますか?
- 場当たり的なデータスクリプトを、スケジュール実行と可観測性を備えた本番パイプラインへ移行する リトライや依存関係の順序制御が必要なETLやMLの学習ジョブをオーケストレーションする 他のシステムからのイベントに応じてワークフローを実行する
- prefect のインストール方法は?
- pipでPrefectをインストールします: pip install -U prefect flowとtaskのデコレーターを使ってPythonファイルを作成し、実行します Prefectサーバーを起動し、http://localhost:4200 でUIを開きます: prefect server start
- prefect はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/PrefectHQ/prefect
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
テーブル、データセット、MLモデル、レポートなどのデータアセットを定義・実行・監視するPythonオーケストレーションプラットフォーム。
Singer tap・targetを使い、Hub経由で600以上のAPIやデータベースと連携するELTパイプラインを構築できる、宣言型のコードファーストなデータ統合エンジン。
API、データベース、ファイルからウェアハウス、データレイク、AIアプリへデータを移動する、ELTパイプライン向けオープンソース基盤。
マイクロサービス、AIエージェント、適応型ワークフローグラフをオーケストレーションする、複数言語のワーカーに対応したオープンソースの耐障害性実行エンジン。
Temporalは、アプリケーションのWorkflowを実行し、失敗したステップを自動で再試行する耐障害性の高い実行プラットフォームです。