Repolode
提交项目
apache

apache/streampark

面向 Apache Flink 和 Spark 的流式应用开发框架与云原生实时计算管理平台。

在 GitHub 查看官网
Star
4,346
Fork
1,093
未关闭 Issue
53
最近提交
7天前

这是什么？

StreamPark 是一个用于构建和运维实时流式应用的框架与平台。它提供预置的 API、连接器和模板，简化 Flink 与 Spark 作业的开发，同时提供基于 Web 的平台，用于部署、监控和运维这些作业。

平台支持同时管理多个版本的 Flink/Spark 引擎，作业可运行在 Standalone、YARN（Hadoop 2.x/3.x）和 Kubernetes 上。它以单一服务覆盖流处理从开发到运维的完整生命周期，并可与 Paimon、Doris 等大数据生态组件集成。

项目前身为 StreamX，于 2022 年 8 月更名为 StreamPark，2025 年 1 月成为 Apache 顶级项目。

核心功能

  • 01为 Apache Flink 和 Apache Spark 应用提供统一的开发框架
  • 02同时运行和管理多个版本的 Flink 与 Spark
  • 03支持在 Standalone、YARN 和 Kubernetes 上部署作业
  • 04提供覆盖开发、部署、监控与运维的 Web 平台
  • 05可通过 Docker 或快速安装脚本以单服务方式部署

适用场景

  • 在多个集群上统一管理大量 Flink 或 Spark 流式作业
  • 在 Kubernetes 或 YARN 上规范团队实时数据管道的开发与发布流程
  • 在同一平台上并行运行多个引擎版本

快速上手

  1. 1

    使用 Docker 运行 StreamPark

    docker run -d -p 10000:10000 apache/streampark:latest
  2. 2

    运行 README 中的本地快速安装脚本（通过管道执行远程脚本）

  3. 3

    使用构建脚本从源码构建

    ./build.sh

使用前须知

  • 要运行作业需要 Apache Flink 或 Spark 集群，以及 Standalone、YARN 或 Kubernetes 等运行环境。

收录于专题

微服务框架与服务基础设施

标签

#stream-processing#flink#spark#real-time-data#kubernetes#data-pipeline#big-data#cloud-native#control-plane#data-computing

常见问题

streampark 是什么？
面向 Apache Flink 和 Spark 的流式应用开发框架与云原生实时计算管理平台。 StreamPark 是一个用于构建和运维实时流式应用的框架与平台。它提供预置的 API、连接器和模板，简化 Flink 与 Spark 作业的开发，同时提供基于 Web 的平台，用于部署、监控和运维这些作业。
streampark 可以免费使用吗？用的什么许可证？
streampark 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
streampark 还在维护吗？
活跃维护中。streampark 最近一次提交是在 2026年10月31日。
streampark 适合用来做什么？
在多个集群上统一管理大量 Flink 或 Spark 流式作业 在 Kubernetes 或 YARN 上规范团队实时数据管道的开发与发布流程 在同一平台上并行运行多个引擎版本
streampark 怎么安装和运行？
使用 Docker 运行 StreamPark: docker run -d -p 10000:10000 apache/streampark:latest 运行 README 中的本地快速安装脚本（通过管道执行远程脚本） 使用构建脚本从源码构建: ./build.sh
在哪里获取 streampark？
源代码和安装说明在 GitHub 上：https://github.com/apache/streampark

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目