Repolode
Netflix

Netflix/metaflow

ノートブックでのプロトタイプ作成から本番オーケストレーターへのデプロイまで対応する、AI・MLワークフロー構築・スケーリング用Pythonフレームワーク。

スター
10,308
フォーク
1,383
未解決の Issue
530
最終コミット
5 日前

これは何?

Metaflowは、AI・MLシステムの構築と管理に使えるPythonフレームワークです。ステップで構成されるPythonのフローとしてワークフローを記述し、プロトタイピングではローカルで実行したり、CPUやGPUを使うクラウドのコンピューティングクラスターに個々のステップをスケールアウトしたりできます。実験の追跡、データや成果物のバージョン管理、結果の可視化機能も組み込まれています。

同じコードを、本番環境向けのワークフローオーケストレーターにデプロイできます。依存関係の管理やイベントをトリガーとした実行にも対応しています。Metaflowはノートブックを使った開発をサポートし、AWS、Azure、GCPのほか、Kubernetesでも利用できます。Netflixで開発され、現在はOuterboundsがサポートしています。

主な機能

  • 01ローカルまたはクラウドで実行できる複数ステップのフローを定義する、PythonらしいAPI
  • 02CPUやGPUを使い、ステップを水平方向・垂直方向にスケール
  • 03実験の追跡、バージョン管理、結果の可視化機能を標準搭載
  • 04フローをリモート実行するための依存関係管理
  • 05イベントトリガーに対応した、本番ワークフローオーケストレーターへのワンステップデプロイ

ユースケース

  • ノートブックでMLモデルのプロトタイプを作成し、後から本番環境に移行する
  • クラウドのコンピューティング環境で、大規模な並列学習やデータ処理を実行する
  • データサイエンスチーム内で、バージョン管理されたモデルや成果物を管理する
  • イベントをトリガーとして定期実行するMLパイプラインをデプロイする

クイックスタート

  1. 1

    PyPIからMetaflowをインストールする

    pip install metaflow
  2. 2

    または、conda-forgeからインストールする

    conda install -c conda-forge metaflow
  3. 3

    公式チュートリアルに従って、最初のflowを作成して実行する

使う前に知っておきたいこと

  • クラウドでのスケーリングや本番環境のオーケストレーションなど、すべてのメリットを活用するにはクラウドインフラの設定が必要で、セットアップに手間がかかります。

トピック

よくある質問

metaflow とは?
ノートブックでのプロトタイプ作成から本番オーケストレーターへのデプロイまで対応する、AI・MLワークフロー構築・スケーリング用Pythonフレームワーク。 Metaflowは、AI・MLシステムの構築と管理に使えるPythonフレームワークです。ステップで構成されるPythonのフローとしてワークフローを記述し、プロトタイピングではローカルで実行したり、CPUやGPUを使うクラウドのコンピューティングクラスターに個々のステップをスケールアウトしたりできます。実験の追跡、データや成果物のバージョン管理、結果の可視化機能も組み込まれています。
metaflow は無料で使えますか?ライセンスは?
metaflow は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
metaflow は今もメンテナンスされていますか?
活発にメンテナンス中。metaflow の最終コミットは 2026年10月16日 です。
metaflow は何に使えますか?
ノートブックでMLモデルのプロトタイプを作成し、後から本番環境に移行する クラウドのコンピューティング環境で、大規模な並列学習やデータ処理を実行する データサイエンスチーム内で、バージョン管理されたモデルや成果物を管理する イベントをトリガーとして定期実行するMLパイプラインをデプロイする
metaflow のインストール方法は?
PyPIからMetaflowをインストールする: pip install metaflow または、conda-forgeからインストールする: conda install -c conda-forge metaflow 公式チュートリアルに従って、最初のflowを作成して実行する
metaflow はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/Netflix/metaflow

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト