自然言語の目的と表形式データセットから、マルチエージェント方式で機械学習モデルを構築します。
Netflix/metaflow
ノートブックでのプロトタイプ作成から本番オーケストレーターへのデプロイまで対応する、AI・MLワークフロー構築・スケーリング用Pythonフレームワーク。
- スター
- 10,308
- フォーク
- 1,383
- 未解決の Issue
- 530
- 最終コミット
- 5 日前
これは何?
Metaflowは、AI・MLシステムの構築と管理に使えるPythonフレームワークです。ステップで構成されるPythonのフローとしてワークフローを記述し、プロトタイピングではローカルで実行したり、CPUやGPUを使うクラウドのコンピューティングクラスターに個々のステップをスケールアウトしたりできます。実験の追跡、データや成果物のバージョン管理、結果の可視化機能も組み込まれています。
同じコードを、本番環境向けのワークフローオーケストレーターにデプロイできます。依存関係の管理やイベントをトリガーとした実行にも対応しています。Metaflowはノートブックを使った開発をサポートし、AWS、Azure、GCPのほか、Kubernetesでも利用できます。Netflixで開発され、現在はOuterboundsがサポートしています。
主な機能
- 01ローカルまたはクラウドで実行できる複数ステップのフローを定義する、PythonらしいAPI
- 02CPUやGPUを使い、ステップを水平方向・垂直方向にスケール
- 03実験の追跡、バージョン管理、結果の可視化機能を標準搭載
- 04フローをリモート実行するための依存関係管理
- 05イベントトリガーに対応した、本番ワークフローオーケストレーターへのワンステップデプロイ
ユースケース
- ノートブックでMLモデルのプロトタイプを作成し、後から本番環境に移行する
- クラウドのコンピューティング環境で、大規模な並列学習やデータ処理を実行する
- データサイエンスチーム内で、バージョン管理されたモデルや成果物を管理する
- イベントをトリガーとして定期実行するMLパイプラインをデプロイする
クイックスタート
- 1
PyPIからMetaflowをインストールする
pip install metaflow - 2
または、conda-forgeからインストールする
conda install -c conda-forge metaflow - 3
公式チュートリアルに従って、最初のflowを作成して実行する
使う前に知っておきたいこと
- クラウドでのスケーリングや本番環境のオーケストレーションなど、すべてのメリットを活用するにはクラウドインフラの設定が必要で、セットアップに手間がかかります。
トピック
よくある質問
- metaflow とは?
- ノートブックでのプロトタイプ作成から本番オーケストレーターへのデプロイまで対応する、AI・MLワークフロー構築・スケーリング用Pythonフレームワーク。 Metaflowは、AI・MLシステムの構築と管理に使えるPythonフレームワークです。ステップで構成されるPythonのフローとしてワークフローを記述し、プロトタイピングではローカルで実行したり、CPUやGPUを使うクラウドのコンピューティングクラスターに個々のステップをスケールアウトしたりできます。実験の追跡、データや成果物のバージョン管理、結果の可視化機能も組み込まれています。
- metaflow は無料で使えますか?ライセンスは?
- metaflow は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- metaflow は今もメンテナンスされていますか?
- 活発にメンテナンス中。metaflow の最終コミットは 2026年10月16日 です。
- metaflow は何に使えますか?
- ノートブックでMLモデルのプロトタイプを作成し、後から本番環境に移行する クラウドのコンピューティング環境で、大規模な並列学習やデータ処理を実行する データサイエンスチーム内で、バージョン管理されたモデルや成果物を管理する イベントをトリガーとして定期実行するMLパイプラインをデプロイする
- metaflow のインストール方法は?
- PyPIからMetaflowをインストールする: pip install metaflow または、conda-forgeからインストールする: conda install -c conda-forge metaflow 公式チュートリアルに従って、最初のflowを作成して実行する
- metaflow はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/Netflix/metaflow
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
永続実行、human-in-the-loop、メモリを備えた、状態を保持する長時間稼働エージェントを構築するための低レベルPythonフレームワーク。
エージェント、LLMアプリ、MLモデルのデバッグ、評価、監視、最適化を支援するオープンソースのAIエンジニアリングプラットフォーム。
逐次・並列・グラフ・階層型のワークフローでマルチエージェントシステムを構築・連携するPythonフレームワーク。
Python、TypeScript、Rust、JuliaでAIエンジニアリングの概念を基礎から学べる、542レッスンの無料MITライセンス講座。
Kubernetes、Slurm、20以上のクラウドやGPUプロバイダーで、AIワークロードの実行・管理・スケールを一元的に行えるオープンソースシステム。