Repolode
Предложить
apache

apache/streampark

Фреймворк для разработки потоковых приложений и cloud-native control plane для запуска и управления заданиями Apache Flink и Spark.

Открыть на GitHubСайт
Звёзды
4,346
Форки
1,093
Открытые issues
53
Последний коммит
7 дней назад

Что это?

StreamPark — это фреймворк и платформа для создания и эксплуатации приложений потоковой обработки данных в реальном времени. В проекте есть готовые API, коннекторы и шаблоны, упрощающие разработку заданий Flink и Spark, а также веб-платформа для их развёртывания, мониторинга и эксплуатации.

Платформа поддерживает одновременную работу с несколькими версиями движков и позволяет запускать задания в кластерах Standalone, YARN (Hadoop 2.x/3.x) и Kubernetes. StreamPark объединяет в одном сервисе весь цикл работы с потоковой обработкой — от разработки до эксплуатации — и интегрируется с такими инструментами экосистемы, как Paimon и Doris.

Изначально проект назывался StreamX, в августе 2022 года получил название StreamPark, а в январе 2025 года стал проектом верхнего уровня Apache.

Ключевые возможности

  • 01Единый фреймворк для разработки приложений на Apache Flink и Apache Spark
  • 02Запуск и управление заданиями на нескольких версиях Flink и Spark
  • 03Развёртывание заданий в Standalone, YARN и Kubernetes
  • 04Веб-платформа для разработки, развёртывания, мониторинга и эксплуатации
  • 05Развёртывание в виде единого сервиса с помощью Docker или скрипта быстрой установки

Сценарии использования

  • Управление множеством потоковых заданий Flink или Spark в нескольких кластерах
  • Стандартизация разработки и развёртывания конвейеров обработки данных в реальном времени командами, использующими Kubernetes или YARN
  • Одновременная работа с несколькими версиями движков на одной платформе

Быстрый старт

  1. 1

    Запустить StreamPark в Docker

    docker run -d -p 10000:10000 apache/streampark:latest
  2. 2

    Запустить локальный скрипт быстрой установки из README (передаёт удалённый скрипт в shell через pipe)

  3. 3

    Собрать из исходного кода с помощью скрипта сборки

    ./build.sh

Что важно знать

  • Полный набор функций предназначен для кластеров Apache Flink и Spark, поэтому для запуска заданий вам понадобятся эти движки и среда вроде Standalone, YARN или Kubernetes.

В подборках

Фреймворки микросервисов и инфраструктура сервисов

Темы

#stream-processing#flink#spark#real-time-data#kubernetes#data-pipeline#big-data#cloud-native#control-plane#data-computing

Частые вопросы

Что такое streampark?
Фреймворк для разработки потоковых приложений и cloud-native control plane для запуска и управления заданиями Apache Flink и Spark. StreamPark — это фреймворк и платформа для создания и эксплуатации приложений потоковой обработки данных в реальном времени. В проекте есть готовые API, коннекторы и шаблоны, упрощающие разработку заданий Flink и Spark, а также веб-платформа для их развёртывания, мониторинга и эксплуатации.
streampark можно использовать бесплатно? Какая у него лицензия?
streampark распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
streampark всё ещё поддерживается?
Активно поддерживается. Последний коммит в streampark — 31 окт. 2026 г..
Для чего можно использовать streampark?
Управление множеством потоковых заданий Flink или Spark в нескольких кластерах Стандартизация разработки и развёртывания конвейеров обработки данных в реальном времени командами, использующими Kubernetes или YARN Одновременная работа с несколькими версиями движков на одной платформе
Как установить streampark?
Запустить StreamPark в Docker: docker run -d -p 10000:10000 apache/streampark:latest Запустить локальный скрипт быстрой установки из README (передаёт удалённый скрипт в shell через pipe) Собрать из исходного кода с помощью скрипта сборки: ./build.sh
Где скачать streampark?
Исходный код и инструкции по установке — на GitHub: https://github.com/apache/streampark

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

apache / iceberg

Высокопроизводительный открытый табличный формат для больших аналитических наборов данных, позволяющий Spark, Trino, Flink и Hive безопасно работать с одними и теми же таблицами.

Данные и аналитика#data-lake#table-format#big-data
9,4 тыс.+8 за неделю3,7 тыс.JavaApache-2.0Обновлён 12 часов назад

apache / linkis

Вычислительное ПО промежуточного слоя, связывающее приложения с такими движками обработки данных, как Spark, Hive и Flink, через REST/WS/JDBC-интерфейсы.

Данные и аналитика#big-data#computation-middleware#spark
3,4 тыс.+1 за неделю1,2 тыс.JavaApache-2.0Обновлён позавчера