Repolode
提交项目
ArroyoSystems

ArroyoSystems/arroyo

用 Rust 编写的分布式流处理引擎，可用 SQL 对实时数据流执行有状态计算。

可替代:Apache Flink

在 GitHub 查看官网
Star
5,062
Fork
380
未关闭 Issue
130
最近提交
昨天

这是什么？

Arroyo 是一个流处理引擎，可以用 SQL 对持续到达的数据编写查询，结果一产生就能获得，无需等待批处理任务结束。它支持窗口、连接（join）等有状态操作，并对状态做检查点，使流水线在故障后能够恢复或重新调度。

项目以单个二进制文件发布，可以通过命令行启动本地集群，也可以用 Docker 运行，然后在 5115 端口的 Web UI 中管理流水线。它提供丰富的连接器，包括 Kafka 和 Iceberg，设计上面向云环境，支持无缝扩缩容。

它适合希望在不具备深厚流处理经验的情况下实现实时分析或数据接入的团队，因为流水线 API 与内部实现是分离的。Cloudflare 也以 Cloudflare Pipelines 的形式提供托管版本，目前支持写入 R2 的无状态流水线。

核心功能

  • 01使用 SQL 编写流处理流水线
  • 02支持窗口和连接等有状态操作
  • 03通过检查点实现容错与恢复
  • 04基于 Dataflow 模型的事件时间处理
  • 05提供包括 Kafka 和 Iceberg 在内的连接器
  • 06以单个二进制文件提供命令行与 Web UI

适用场景

  • 在实时事件流中检测欺诈或安全事件
  • 构建实时产品或业务分析看板
  • 将流式数据实时写入数据仓库或数据湖
  • 为机器学习模型实时生成特征

快速上手

  1. 1

    在 macOS 上使用 Homebrew 安装

    brew install arroyosystems/tap/arroyo
  2. 2

    启动本地集群

    arroyo cluster
  3. 3

    集群运行后打开 http://localhost:5115 的 Web UI

使用前须知

  • 自托管需要你自行运行 Arroyo 集群及其组件。
  • 托管版 Cloudflare Pipelines 目前仅支持无状态管道写入 R2，尚不支持有状态管道。

收录于专题

数据库与 SQL 工具微服务框架与服务基础设施

标签

#stream-processing#sql#rust#data-streaming#kafka#real-time-analytics#distributed-systems#data#data-stream-processing#dev-tools

常见问题

arroyo 是什么？
用 Rust 编写的分布式流处理引擎，可用 SQL 对实时数据流执行有状态计算。 Arroyo 是一个流处理引擎，可以用 SQL 对持续到达的数据编写查询，结果一产生就能获得，无需等待批处理任务结束。它支持窗口、连接（join）等有状态操作，并对状态做检查点，使流水线在故障后能够恢复或重新调度。
arroyo 可以免费使用吗？用的什么许可证？
arroyo 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
arroyo 还在维护吗？
活跃维护中。arroyo 最近一次提交是在 2026年10月23日。
arroyo 适合用来做什么？
在实时事件流中检测欺诈或安全事件 构建实时产品或业务分析看板 将流式数据实时写入数据仓库或数据湖 为机器学习模型实时生成特征
arroyo 怎么安装和运行？
在 macOS 上使用 Homebrew 安装: brew install arroyosystems/tap/arroyo 启动本地集群: arroyo cluster 集群运行后打开 http://localhost:5115 的 Web UI
在哪里获取 arroyo？
源代码和安装说明在 GitHub 上：https://github.com/ArroyoSystems/arroyo

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目