Scala、Java、Python、RのAPIを備えた、大規模データ処理向けの統合分析エンジン。
apache/flink
Apache Flinkは、Java、Scala、Python、SQL APIを備えた、ステートフルなストリームおよびバッチデータ処理のためのオープンソースフレームワークです。
- スター
- 26,417
- フォーク
- 14,065
- 未解決の Issue
- 398
- 最終コミット
- 16 時間前
これは何?
Apache Flinkは、連続するイベントストリームと有界データセットの両方を処理するデータパイプラインを実行するための分散処理フレームワークです。ランタイムではバッチ処理をストリーミング処理の特殊なケースとして扱うため、同じエンジンで両方のワークロードを処理できます。
DataStream APIはイベント時刻処理や順不同イベントに対応し、時間、件数、セッション、カスタムトリガーによる柔軟なウィンドウ処理を提供します。フォールトトレランスはExactly-once処理保証を中心に構築されており、バックプレッシャーはストリーミングジョブ内を自然に伝播します。
FlinkはYARNやHDFSを含むHadoopエコシステムと連携します。Kafka、JDBC、Elasticsearchなどのコネクターの大半は、別のApacheリポジトリで保守されています。プロジェクトのビルドにはMavenを使用し、Java 11、17、21をサポートしています。
主な機能
- 01ストリーミングを中心としたランタイムで、バッチジョブも実行可能
- 02DataStream APIでのイベント時刻処理と順不同イベントへの対応
- 03時間、件数、セッション、カスタムトリガーによる柔軟なウィンドウ処理
- 04Exactly-onceのフォールトトレランス保証
- 05Hadoop MapReduceとの互換レイヤー、およびYARNやHDFSとの連携
ユースケース
- クリックストリームやセンサーデータなどのイベントストリームを使ったリアルタイム分析
- データウェアハウスや検索インデックスにデータを供給する継続的なETLパイプライン
- 同一のコードベースを共有するバッチジョブとストリーミングジョブ
- Exactly-onceの結果が必要なステートフルなイベント駆動型アプリケーション
クイックスタート
- 1
リポジトリをクローンする
git clone https://github.com/apache/flink.git - 2
プロジェクトディレクトリに移動する
cd flink - 3
Java 17 向けに Flink をビルドする(デフォルト)
./mvnw clean package -DskipTests -Djdk17 -Pjava17-target
使う前に知っておきたいこと
- ソースからのビルドには約10分かかり、Maven 3.9.16 とバージョン11、17、または21のJDKが必要です。
- ほとんどのコネクターは別のリポジトリに移行しているため、個別に追加する必要があります。
収録されている特集
トピック
よくある質問
- flink とは?
- Apache Flinkは、Java、Scala、Python、SQL APIを備えた、ステートフルなストリームおよびバッチデータ処理のためのオープンソースフレームワークです。 Apache Flinkは、連続するイベントストリームと有界データセットの両方を処理するデータパイプラインを実行するための分散処理フレームワークです。ランタイムではバッチ処理をストリーミング処理の特殊なケースとして扱うため、同じエンジンで両方のワークロードを処理できます。
- flink は無料で使えますか?ライセンスは?
- flink は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- flink は今もメンテナンスされていますか?
- 活発にメンテナンス中。flink の最終コミットは 2026年10月22日 です。
- flink は何に使えますか?
- クリックストリームやセンサーデータなどのイベントストリームを使ったリアルタイム分析 データウェアハウスや検索インデックスにデータを供給する継続的なETLパイプライン 同一のコードベースを共有するバッチジョブとストリーミングジョブ Exactly-onceの結果が必要なステートフルなイベント駆動型アプリケーション
- flink のインストール方法は?
- リポジトリをクローンする: git clone https://github.com/apache/flink.git プロジェクトディレクトリに移動する: cd flink Java 17 向けに Flink をビルドする(デフォルト): ./mvnw clean package -DskipTests -Djdk17 -Pjava17-target
- flink はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/apache/flink
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Rustエンジンを基盤とし、ストリーム処理、リアルタイム分析、LLMパイプライン、RAGに対応するPython ETLフレームワーク。
Kafka、MQTT、NATSなどのリアルタイムデータに対して、SQL、Python UDF、ML/LLM処理を実行するRust製ストリーム処理エンジン。
KafkaやS3のストリーミング/バッチデータを取り込み、低レイテンシ分析を実現するリアルタイム分散OLAPデータストア。
Querybookは、ノートブック形式のクエリエディタとテーブルメタデータを組み合わせ、分析の発見や共有を支援するビッグデータ向けIDEです。
Apache Parquetファイルを表示し、基本的なSQLクエリを実行できるシンプルなWindowsデスクトップアプリ。