Almacén OLAP distribuido en tiempo real para analizar con baja latencia datos de streaming y por lotes, con ingesta desde Kafka y S3.
6,2 mil+1 esta semana1,5 milJavaApache-2.0Actualizado ayer
ArroyoSystems/arroyo
Motor distribuido de procesamiento de streams escrito en Rust que ejecuta pipelines SQL con estado sobre flujos de datos en tiempo real.
Alternativa open source a:Apache Flink
- Estrellas
- 5,062
- Forks
- 380
- Issues abiertos
- 130
- Último commit
- ayer
¿Qué es?
Arroyo es un motor de procesamiento de streams que permite escribir consultas SQL sobre datos que llegan continuamente y obtener resultados en cuanto están disponibles, en lugar de esperar a que termine un trabajo por lotes. Admite operaciones con estado, como ventanas y joins, y guarda checkpoints del estado para que los pipelines puedan recuperarse de fallos y volver a programarse.
Arroyo se distribuye como un único binario. Puedes iniciar un clúster local con la CLI o ejecutarlo en Docker y, después, gestionar los pipelines desde una interfaz web que escucha en el puerto 5115. Hay una amplia variedad de conectores, entre ellos Kafka e Iceberg, y el proyecto está diseñado para ejecutarse en entornos cloud y escalar sin complicaciones.
El proyecto está dirigido a equipos que necesitan análisis en tiempo real o ingesta de datos sin tener conocimientos profundos de streaming, ya que las API de los pipelines están separadas de la implementación interna. Cloudflare también ofrece una versión gestionada de Arroyo, llamada Cloudflare Pipelines, actualmente para pipelines sin estado que escriben en R2.
Funciones clave
- 01Escribir pipelines de streaming en SQL
- 02Ventanas y joins con estado
- 03Checkpointing para tolerancia a fallos y recuperación
- 04Procesamiento basado en el tiempo de evento según el modelo Dataflow
- 05Conectores, entre ellos Kafka e Iceberg
- 06Un único binario con CLI e interfaz web
Casos de uso
- Detectar fraudes o incidentes de seguridad en flujos de eventos en tiempo real
- Crear dashboards de productos o negocio en tiempo real
- Ingerir datos de streaming en un data warehouse o un data lake
- Generar características en tiempo real para modelos de machine learning
Inicio rápido
- 1
Instala en macOS con Homebrew
brew install arroyosystems/tap/arroyo - 2
Inicia un clúster local
arroyo cluster - 3
Cuando el clúster esté en funcionamiento, abre la interfaz web en http://localhost:5115
Antes de usarlo
- El autoalojamiento requiere que ejecutes por tu cuenta el clúster de Arroyo y sus componentes.
- Las canalizaciones con estado aún no están disponibles en el servicio gestionado Cloudflare Pipelines, que actualmente solo admite canalizaciones sin estado hacia R2.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es arroyo?
- Motor distribuido de procesamiento de streams escrito en Rust que ejecuta pipelines SQL con estado sobre flujos de datos en tiempo real. Arroyo es un motor de procesamiento de streams que permite escribir consultas SQL sobre datos que llegan continuamente y obtener resultados en cuanto están disponibles, en lugar de esperar a que termine un trabajo por lotes. Admite operaciones con estado, como ventanas y joins, y guarda checkpoints del estado para que los pipelines puedan recuperarse de fallos y volver a programarse.
- ¿arroyo es gratuito? ¿Qué licencia tiene?
- arroyo es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿arroyo sigue mantenido?
- Mantenimiento activo. El último commit de arroyo fue el 23 oct 2026.
- ¿Para qué puedo usar arroyo?
- Detectar fraudes o incidentes de seguridad en flujos de eventos en tiempo real Crear dashboards de productos o negocio en tiempo real Ingerir datos de streaming en un data warehouse o un data lake Generar características en tiempo real para modelos de machine learning
- ¿Cómo se instala arroyo?
- Instala en macOS con Homebrew: brew install arroyosystems/tap/arroyo Inicia un clúster local: arroyo cluster Cuando el clúster esté en funcionamiento, abre la interfaz web en http://localhost:5115
- ¿Dónde consigo arroyo?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ArroyoSystems/arroyo
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor de procesamiento de streams en Rust que ejecuta SQL, UDF de Python y pasos de ML/LLM sobre datos en tiempo real de Kafka, MQTT, NATS y otras fuentes.
1,3 mil47RustApache-2.0Actualizado hace 23 horas
Apache Flink es un framework de código abierto para procesar datos con estado en streaming y por lotes, con API para Java, Scala, Python y SQL.
26,4 mil+1 esta semana14,1 milJavaApache-2.0Actualizado hace 17 horas
Framework ETL de Python para procesamiento de streams, analítica en tiempo real, pipelines de LLM y RAG, impulsado por un motor Rust.
62,1 mil1,7 milPythonOtherActualizado ayer
Un operador de Kubernetes que ejecuta y gestiona clústeres de Apache Kafka en Kubernetes y OpenShift, incluidos Kafka Connect y Kafka Streams.
6 mil+1 esta semana1,6 milJavaApache-2.0Actualizado hace 21 horas
Plataforma de streaming de datos compatible con la API de Kafka, escrita en C++ y que funciona sin ZooKeeper ni la JVM.
12,6 mil798C++Sin licenciaActualizado hace 17 días