Repolode
Enviar
apache

apache/flink

Apache Flink é um framework open source para processamento stateful de dados em streaming e em lote, com APIs para Java, Scala, Python e SQL.

Ver no GitHubSite
Estrelas
26,417
Forks
14,065
Issues abertas
398
Último commit
há 16 horas

O que é?

Apache Flink é um framework de processamento distribuído para executar pipelines de dados que operam tanto em fluxos contínuos de eventos quanto em conjuntos de dados limitados. Seu runtime trata o processamento em lote como um caso especial de streaming, então o mesmo mecanismo executa as duas cargas de trabalho.

A DataStream API oferece suporte ao processamento por event time e a eventos fora de ordem, com janelas flexíveis por tempo, contagem, sessão ou triggers personalizados. A tolerância a falhas se baseia em garantias de processamento exactly-once, e o backpressure se propaga naturalmente pelos jobs de streaming.

O Flink se integra ao ecossistema Hadoop, incluindo YARN e HDFS, e a maioria dos seus conectores (Kafka, JDBC, Elasticsearch e outros) é mantida em repositórios Apache separados. O projeto é compilado com Maven e oferece suporte a Java 11, 17 e 21.

Recursos principais

  • 01Runtime com foco em streaming que também executa jobs em lote
  • 02Processamento por event time e tratamento de eventos fora de ordem na DataStream API
  • 03Janelas flexíveis por tempo, contagem, sessão ou triggers personalizados
  • 04Garantias de tolerância a falhas exactly-once
  • 05Camadas de compatibilidade com Hadoop MapReduce e integração com YARN e HDFS

Casos de uso

  • Análises em tempo real de fluxos de eventos, como dados de cliques ou de sensores
  • Pipelines contínuos de ETL que alimentam data warehouses ou índices de busca
  • Jobs em lote e de streaming que compartilham a mesma base de código
  • Aplicações stateful orientadas a eventos que precisam de resultados exactly-once

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/apache/flink.git
  2. 2

    Acesse o diretório do projeto

    cd flink
  3. 3

    Compile o Flink para Java 17 (padrão)

    ./mvnw clean package -DskipTests -Djdk17 -Pjava17-target

Antes de usar

  • A compilação a partir do código-fonte leva cerca de 10 minutos e requer o Maven 3.9.16 e um JDK da versão 11, 17 ou 21.
  • A maioria dos conectores foi movida para repositórios separados e precisa ser adicionada individualmente.

Em coleções

Bancos de dados e ferramentas SQL

Tópicos

#stream-processing#batch-processing#big-data#java#scala#python#sql#distributed-systems#flink

Perguntas frequentes

O que é flink?
Apache Flink é um framework open source para processamento stateful de dados em streaming e em lote, com APIs para Java, Scala, Python e SQL. Apache Flink é um framework de processamento distribuído para executar pipelines de dados que operam tanto em fluxos contínuos de eventos quanto em conjuntos de dados limitados. Seu runtime trata o processamento em lote como um caso especial de streaming, então o mesmo mecanismo executa as duas cargas de trabalho.
flink é gratuito? Qual é a licença?
flink é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
flink ainda é mantido?
Manutenção ativa. O último commit de flink foi em 22 de out. de 2026.
Para que posso usar flink?
Análises em tempo real de fluxos de eventos, como dados de cliques ou de sensores Pipelines contínuos de ETL que alimentam data warehouses ou índices de busca Jobs em lote e de streaming que compartilham a mesma base de código Aplicações stateful orientadas a eventos que precisam de resultados exactly-once
Como instalar flink?
Clone o repositório: git clone https://github.com/apache/flink.git Acesse o diretório do projeto: cd flink Compile o Flink para Java 17 (padrão): ./mvnw clean package -DskipTests -Djdk17 -Pjava17-target
Onde consigo flink?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/apache/flink

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados