Repolode
投稿する
apache

apache/streampark

Apache FlinkとSparkのジョブを実行・管理する、ストリーミングアプリケーション開発フレームワーク兼クラウドネイティブなコントロールプレーン。

GitHub で見る公式サイト
スター
4,346
フォーク
1,093
未解決の Issue
53
最終コミット
7 日前

これは何？

StreamParkは、リアルタイムストリーミングアプリケーションの構築・運用を支援するフレームワーク兼プラットフォームです。あらかじめ用意されたAPI、コネクタ、テンプレートによりFlinkやSparkのジョブ開発を簡素化し、Webベースのプラットフォームからジョブのデプロイ、監視、運用を行えます。

複数のエンジンバージョンを並行して利用でき、Standaloneクラスター、YARN（Hadoop 2.x/3.x）、Kubernetes上でジョブを実行できます。ストリーム処理の開発から運用までのライフサイクルを単一のサービスで扱うことを目指しており、PaimonやDorisなどのエコシステムツールとも連携します。

当初はStreamXという名称でしたが、2022年8月にStreamParkへ改名され、2025年1月にApacheのトップレベルプロジェクトになりました。

主な機能

  • 01Apache FlinkとApache Sparkアプリケーション向けの統合開発フレームワーク
  • 02複数バージョンのFlinkとSparkを実行・管理
  • 03Standalone、YARN、Kubernetesへのジョブのデプロイ
  • 04開発、デプロイ、監視、運用を行うWebプラットフォーム
  • 05Dockerまたはクイックインストールスクリプトによる単一サービスのデプロイ

ユースケース

  • 複数のクラスターにまたがるFlinkまたはSparkのストリーミングジョブ群の管理
  • KubernetesやYARN上でリアルタイムデータパイプラインを開発・デプロイする方法の標準化
  • 1つのプラットフォーム上で複数のエンジンバージョンを並行運用

クイックスタート

  1. 1

    DockerでStreamParkを実行する

    docker run -d -p 10000:10000 apache/streampark:latest
  2. 2

    READMEにあるローカル向けクイックインストールスクリプトを実行する（リモートスクリプトをシェルにパイプします）

  3. 3

    ビルドスクリプトを使ってソースからビルドする

    ./build.sh

使う前に知っておきたいこと

  • すべての機能を利用するにはApache FlinkとSparkのクラスターが対象となるため、ジョブを実行するには、それらのエンジンとStandalone、YARN、Kubernetesなどの環境が必要です。

収録されている特集

マイクロサービスのフレームワークとサービス基盤

トピック

#stream-processing#flink#spark#real-time-data#kubernetes#data-pipeline#big-data#cloud-native#control-plane#data-computing

よくある質問

streampark とは？
Apache FlinkとSparkのジョブを実行・管理する、ストリーミングアプリケーション開発フレームワーク兼クラウドネイティブなコントロールプレーン。 StreamParkは、リアルタイムストリーミングアプリケーションの構築・運用を支援するフレームワーク兼プラットフォームです。あらかじめ用意されたAPI、コネクタ、テンプレートによりFlinkやSparkのジョブ開発を簡素化し、Webベースのプラットフォームからジョブのデプロイ、監視、運用を行えます。
streampark は無料で使えますか？ライセンスは？
streampark は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
streampark は今もメンテナンスされていますか？
活発にメンテナンス中。streampark の最終コミットは 2026年10月31日 です。
streampark は何に使えますか？
複数のクラスターにまたがるFlinkまたはSparkのストリーミングジョブ群の管理 KubernetesやYARN上でリアルタイムデータパイプラインを開発・デプロイする方法の標準化 1つのプラットフォーム上で複数のエンジンバージョンを並行運用
streampark のインストール方法は？
DockerでStreamParkを実行する: docker run -d -p 10000:10000 apache/streampark:latest READMEにあるローカル向けクイックインストールスクリプトを実行する（リモートスクリプトをシェルにパイプします） ビルドスクリプトを使ってソースからビルドする: ./build.sh
streampark はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/apache/streampark

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト