Repolode
Enviar
ArroyoSystems

ArroyoSystems/arroyo

Um mecanismo distribuído de processamento de streams, escrito em Rust, que executa pipelines SQL com estado sobre fluxos de dados em tempo real.

Alternativa open source a:Apache Flink

Ver no GitHubSite
Estrelas
5,062
Forks
380
Issues abertas
130
Último commit
ontem

O que é?

Arroyo é um mecanismo de processamento de streams que permite escrever consultas SQL sobre dados que chegam continuamente e obter resultados assim que ficam disponíveis, sem precisar esperar um job em lote terminar. Ele oferece suporte a operações com estado, como janelas e joins, e usa checkpoints para que os pipelines possam se recuperar de falhas e ser reagendados.

O Arroyo é distribuído como um único binário. Você pode iniciar um cluster local com a CLI ou executá-lo no Docker e, em seguida, gerenciar os pipelines por uma interface web disponível na porta 5115. Há diversos conectores disponíveis, incluindo Kafka e Iceberg, e o projeto foi desenvolvido para rodar em ambientes de nuvem com escalabilidade contínua.

O projeto é voltado a equipes que precisam de análises em tempo real ou ingestão de dados sem exigir conhecimento avançado de processamento de streams, já que as APIs dos pipelines são separadas da implementação interna. A Cloudflare também oferece uma versão gerenciada do Arroyo, chamada Cloudflare Pipelines, atualmente para pipelines sem estado que gravam no R2.

Recursos principais

  • 01Escreva pipelines de streaming em SQL
  • 02Janelas e joins com estado
  • 03Uso de checkpoints para tolerância a falhas e recuperação
  • 04Processamento baseado no tempo dos eventos, seguindo o modelo Dataflow
  • 05Conectores como Kafka e Iceberg
  • 06Binário único com CLI e interface web

Casos de uso

  • Detectar fraudes ou incidentes de segurança em fluxos de eventos ao vivo
  • Criar dashboards de produtos ou negócios em tempo real
  • Ingerir dados de streaming em um data warehouse ou data lake
  • Gerar features em tempo real para modelos de machine learning

Início rápido

  1. 1

    Instale no macOS com Homebrew

    brew install arroyosystems/tap/arroyo
  2. 2

    Inicie um cluster local

    arroyo cluster
  3. 3

    Quando o cluster estiver em execução, abra a interface Web em http://localhost:5115

Antes de usar

  • A hospedagem própria exige que você execute o cluster Arroyo e seus componentes por conta própria.
  • Pipelines com estado ainda não estão disponíveis no serviço gerenciado Cloudflare Pipelines, que atualmente aceita apenas pipelines sem estado para o R2.

Em coleções

Bancos de dados e ferramentas SQLFrameworks de microsserviços e infraestrutura de serviços

Tópicos

#stream-processing#sql#rust#data-streaming#kafka#real-time-analytics#distributed-systems#data#data-stream-processing#dev-tools

Perguntas frequentes

O que é arroyo?
Um mecanismo distribuído de processamento de streams, escrito em Rust, que executa pipelines SQL com estado sobre fluxos de dados em tempo real. Arroyo é um mecanismo de processamento de streams que permite escrever consultas SQL sobre dados que chegam continuamente e obter resultados assim que ficam disponíveis, sem precisar esperar um job em lote terminar. Ele oferece suporte a operações com estado, como janelas e joins, e usa checkpoints para que os pipelines possam se recuperar de falhas e ser reagendados.
arroyo é gratuito? Qual é a licença?
arroyo é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
arroyo ainda é mantido?
Manutenção ativa. O último commit de arroyo foi em 23 de out. de 2026.
Para que posso usar arroyo?
Detectar fraudes ou incidentes de segurança em fluxos de eventos ao vivo Criar dashboards de produtos ou negócios em tempo real Ingerir dados de streaming em um data warehouse ou data lake Gerar features em tempo real para modelos de machine learning
Como instalar arroyo?
Instale no macOS com Homebrew: brew install arroyosystems/tap/arroyo Inicie um cluster local: arroyo cluster Quando o cluster estiver em execução, abra a interface Web em http://localhost:5115
Onde consigo arroyo?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ArroyoSystems/arroyo

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados