160以上のコネクタを通じて、バッチ、ストリーミング、CDCモードで大量の構造化・非構造化データを同期する分散型データ統合ツールです。
apache/nifi
Apache NiFiは、ブラウザーUIで管理しながら、データソースと送信先の間のデータフローを自動化、ルーティング、監視するシステムです。
代替できる製品:Informatica PowerCenter
Talend
- スター
- 6,269
- フォーク
- 2,989
- 未解決の Issue
- 57
- 最終コミット
- 19 時間前
これは何?
Apache NiFiは、データを処理・配布するためのデータフローシステムです。ブラウザーベースのインターフェースでProcessorを接続してパイプラインを構築し、システム間でのデータの移動、変換、ルーティングなどを行います。サイバーセキュリティ、オブザーバビリティ、イベントストリーム、生成AI向けのデータパイプラインを用途として想定しています。
NiFiはデータごとに来歴を記録するため、運用担当者は処理履歴を検索し、ソースから送信先までのデータの流れを追跡できます。フローは優先順位を設定して実行でき、リトライとバックオフによる配信保証や、クラスタリングによる水平スケーリングにも対応しています。
ProcessorとController Service向けのプラグインインターフェースで機能を拡張でき、ネイティブのPythonで記述したProcessorも利用できます。また、オーケストレーションと監視のためのREST APIを提供します。セキュリティ機能には、デフォルトでのHTTPS、OpenID ConnectまたはSAML 2によるシングルサインオン、ロールベースの認可、TLS暗号化が含まれます。
主な機能
- 01データフローの設計、制御、監視を行うブラウザーベースのUI
- 02検索可能な履歴とデータリネージグラフによる来歴追跡
- 03リトライとバックオフ戦略による配信保証
- 04クラスタリングによる水平スケーリング
- 05ネイティブPythonのProcessorを含む、ProcessorとController Service向けのプラグインインターフェース
- 06OpenID ConnectまたはSAML 2によるシングルサインオンとロールベースの認可
ユースケース
- データベース、API、メッセージキュー間でのデータの移動と変換
- イベントストリームやオブザーバビリティ向けのデータパイプライン構築
- 生成AIや分析ワークフローへのデータ供給
- データの取得元や処理方法の監査
クイックスタート
- 1
Maven Wrapper でバイナリ配布物をビルドします
./mvnw install -T1C -am -pl :nifi-assembly - 2
ビルドした配布物のディレクトリに移動します
cd nifi-assembly/target/nifi-*-bin/nifi-*/ - 3
同梱のスクリプトで NiFi を起動します
./bin/nifi.sh start - 4
https://localhost:8443/nifi を開き、logs/nifi-app.log に記録された生成済みの認証情報でログインします
使う前に知っておきたいこと
- Java 21 が必要です。また、README にはパッケージマネージャーによるインストール方法がなく、Maven でソースからビルドする必要があります。
- デフォルトの HTTPS 設定では自己署名証明書が使われ、ブラウザーに警告が表示されます。本番環境で使用するには、信頼できる証明書が必要です。
トピック
よくある質問
- nifi とは?
- Apache NiFiは、ブラウザーUIで管理しながら、データソースと送信先の間のデータフローを自動化、ルーティング、監視するシステムです。 Apache NiFiは、データを処理・配布するためのデータフローシステムです。ブラウザーベースのインターフェースでProcessorを接続してパイプラインを構築し、システム間でのデータの移動、変換、ルーティングなどを行います。サイバーセキュリティ、オブザーバビリティ、イベントストリーム、生成AI向けのデータパイプラインを用途として想定しています。
- nifi は無料で使えますか?ライセンスは?
- nifi は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- nifi は今もメンテナンスされていますか?
- 活発にメンテナンス中。nifi の最終コミットは 2026年10月20日 です。
- nifi は何に使えますか?
- データベース、API、メッセージキュー間でのデータの移動と変換 イベントストリームやオブザーバビリティ向けのデータパイプライン構築 生成AIや分析ワークフローへのデータ供給 データの取得元や処理方法の監査
- nifi のインストール方法は?
- Maven Wrapper でバイナリ配布物をビルドします: ./mvnw install -T1C -am -pl :nifi-assembly ビルドした配布物のディレクトリに移動します: cd nifi-assembly/target/nifi-*-bin/nifi-*/ 同梱のスクリプトで NiFi を起動します: ./bin/nifi.sh start https://localhost:8443/nifi を開き、logs/nifi-app.log に記録された生成済みの認証情報でログインします
- nifi はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/apache/nifi
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Apache Airflowは、Pythonコードで定義したワークフロー(DAG)の作成、スケジュール設定、監視をプログラムから行うためのプラットフォームです。
API、データベース、ファイルからウェアハウス、データレイク、AIアプリへデータを移動する、ELTパイプライン向けオープンソース基盤。
クラウドやSaaSのインフラメタデータをデータウェアハウスに同期し、SQLでのクエリ、資産インベントリ、セキュリティ分析を可能にするCLIとデータパイプライン。
コードを書かずに、1つのコマンドでデータベース、ファイル、SaaSプラットフォーム間のデータをコピーできるCLIツール。
古典から現代までのソフトウェアデザインパターンをJavaで実装し、各パターンの解説付きサンプルコードをまとめたコレクションです。