Repolode
Enviar
apache

apache/streampark

Framework de desenvolvimento de aplicações de streaming e plano de controle cloud-native para executar e gerenciar jobs do Apache Flink e Spark.

Ver no GitHubSite
Estrelas
4,346
Forks
1,094
Issues abertas
53
Último commit
há 6 dias

O que é?

O StreamPark é um framework e uma plataforma para criar e operar aplicações de streaming em tempo real. Ele oferece APIs, conectores e templates prontos para simplificar o desenvolvimento de jobs do Flink e Spark, além de uma plataforma web para implantar, monitorar e operar esses jobs.

A plataforma oferece suporte a várias versões dos mecanismos em paralelo e pode executar jobs em clusters Standalone, YARN (Hadoop 2.x/3.x) e Kubernetes. Ela se apresenta como um serviço único que cuida de todo o ciclo de vida do processamento de streams, do desenvolvimento às operações, e integra-se a ferramentas do ecossistema, como Paimon e Doris.

O projeto se chamava originalmente StreamX, passou a se chamar StreamPark em agosto de 2022 e tornou-se um Apache Top-Level Project em janeiro de 2025.

Recursos principais

  • 01Framework unificado de desenvolvimento para aplicações Apache Flink e Apache Spark
  • 02Executar e gerenciar várias versões do Flink e Spark
  • 03Implantar jobs em Standalone, YARN e Kubernetes
  • 04Plataforma web para desenvolvimento, implantação, monitoramento e operações
  • 05Implantação como serviço único com Docker ou um script de instalação rápida

Casos de uso

  • Gerenciar um conjunto de jobs de streaming do Flink ou Spark distribuídos por vários clusters
  • Padronizar a forma como as equipes desenvolvem e implantam pipelines de dados em tempo real no Kubernetes ou YARN
  • Executar várias versões dos mecanismos em paralelo em uma única plataforma

Início rápido

  1. 1

    Executar o StreamPark no Docker

    docker run -d -p 10000:10000 apache/streampark:latest
  2. 2

    Executar o script de instalação rápida local do README (envia um script remoto por pipe para um shell)

  3. 3

    Compilar a partir do código-fonte usando o script de build

    ./build.sh

Antes de usar

  • A funcionalidade completa é voltada para clusters Apache Flink e Spark. Portanto, para executar jobs, você precisa desses mecanismos e de um ambiente como Standalone, YARN ou Kubernetes.

Em coleções

Frameworks de microsserviços e infraestrutura de serviços

Tópicos

#stream-processing#flink#spark#real-time-data#kubernetes#data-pipeline#big-data#cloud-native#control-plane#data-computing

Perguntas frequentes

O que é streampark?
Framework de desenvolvimento de aplicações de streaming e plano de controle cloud-native para executar e gerenciar jobs do Apache Flink e Spark. O StreamPark é um framework e uma plataforma para criar e operar aplicações de streaming em tempo real. Ele oferece APIs, conectores e templates prontos para simplificar o desenvolvimento de jobs do Flink e Spark, além de uma plataforma web para implantar, monitorar e operar esses jobs.
streampark é gratuito? Qual é a licença?
streampark é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
streampark ainda é mantido?
Manutenção ativa. O último commit de streampark foi em 31 de out. de 2026.
Para que posso usar streampark?
Gerenciar um conjunto de jobs de streaming do Flink ou Spark distribuídos por vários clusters Padronizar a forma como as equipes desenvolvem e implantam pipelines de dados em tempo real no Kubernetes ou YARN Executar várias versões dos mecanismos em paralelo em uma única plataforma
Como instalar streampark?
Executar o StreamPark no Docker: docker run -d -p 10000:10000 apache/streampark:latest Executar o script de instalação rápida local do README (envia um script remoto por pipe para um shell) Compilar a partir do código-fonte usando o script de build: ./build.sh
Onde consigo streampark?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/apache/streampark

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados