KafkaやS3のストリーミング/バッチデータを取り込み、低レイテンシ分析を実現するリアルタイム分散OLAPデータストア。
ArroyoSystems/arroyo
Rust製の分散ストリーム処理エンジン。リアルタイムデータストリーム上で、状態を保持するSQLパイプラインを実行できます。
代替できる製品:Apache Flink
- スター
- 5,062
- フォーク
- 380
- 未解決の Issue
- 130
- 最終コミット
- 昨日
これは何?
Arroyoは、継続的に届くデータに対してSQLクエリを実行し、バッチ処理の完了を待たずに結果が得られ次第受け取れるストリーム処理エンジンです。ウィンドウや結合などの状態を保持する操作に対応しており、状態をチェックポイントに保存することで、障害発生後のパイプラインの復旧や再スケジュールが可能です。
Arroyoは単一のバイナリとして提供されます。CLIでローカルクラスターを起動するか、Dockerで実行でき、ポート5115で待ち受けるWeb UIからパイプラインを管理できます。KafkaやIcebergを含む幅広いコネクターが用意されており、クラウド環境でシームレスにスケーリングできるよう設計されています。
このプロジェクトは、ストリーミング処理に関する深い専門知識がなくても、リアルタイム分析やデータ取り込みを実現したいチームを対象としています。パイプラインAPIと内部実装が分離されているためです。Cloudflareは、現在はR2への書き込みを行うステートレスパイプライン向けに、Cloudflare PipelinesとしてArroyoのマネージド版も提供しています。
主な機能
- 01SQLでストリーミングパイプラインを記述
- 02状態を保持するウィンドウ処理と結合
- 03耐障害性と復旧のためのチェックポイント機能
- 04Dataflowモデルに基づくイベント時刻処理
- 05KafkaやIcebergなどのコネクター
- 06CLIとWeb UIを備えた単一バイナリ
ユースケース
- リアルタイムのイベントストリームから不正行為やセキュリティインシデントを検知
- 製品やビジネスのリアルタイムダッシュボードを構築
- ストリーミングデータをデータウェアハウスやデータレイクに取り込み
- 機械学習モデル向けのリアルタイム特徴量を生成
クイックスタート
- 1
Homebrewを使ってmacOSにインストールする
brew install arroyosystems/tap/arroyo - 2
ローカルクラスターを起動する
arroyo cluster - 3
クラスターの起動後、http://localhost:5115 でWeb UIを開く
使う前に知っておきたいこと
- セルフホスティングでは、Arroyoクラスターとそのコンポーネントを自分で実行する必要があります。
- マネージドCloudflare Pipelinesサービスでは、ステートフルパイプラインはまだ利用できません。現在はR2へのステートレスパイプラインのみをサポートしています。
収録されている特集
トピック
よくある質問
- arroyo とは?
- Rust製の分散ストリーム処理エンジン。リアルタイムデータストリーム上で、状態を保持するSQLパイプラインを実行できます。 Arroyoは、継続的に届くデータに対してSQLクエリを実行し、バッチ処理の完了を待たずに結果が得られ次第受け取れるストリーム処理エンジンです。ウィンドウや結合などの状態を保持する操作に対応しており、状態をチェックポイントに保存することで、障害発生後のパイプラインの復旧や再スケジュールが可能です。
- arroyo は無料で使えますか?ライセンスは?
- arroyo は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- arroyo は今もメンテナンスされていますか?
- 活発にメンテナンス中。arroyo の最終コミットは 2026年10月23日 です。
- arroyo は何に使えますか?
- リアルタイムのイベントストリームから不正行為やセキュリティインシデントを検知 製品やビジネスのリアルタイムダッシュボードを構築 ストリーミングデータをデータウェアハウスやデータレイクに取り込み 機械学習モデル向けのリアルタイム特徴量を生成
- arroyo のインストール方法は?
- Homebrewを使ってmacOSにインストールする: brew install arroyosystems/tap/arroyo ローカルクラスターを起動する: arroyo cluster クラスターの起動後、http://localhost:5115 でWeb UIを開く
- arroyo はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/ArroyoSystems/arroyo
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Kafka、MQTT、NATSなどのリアルタイムデータに対して、SQL、Python UDF、ML/LLM処理を実行するRust製ストリーム処理エンジン。
Apache Flinkは、Java、Scala、Python、SQL APIを備えた、ステートフルなストリームおよびバッチデータ処理のためのオープンソースフレームワークです。
Rustエンジンを基盤とし、ストリーム処理、リアルタイム分析、LLMパイプライン、RAGに対応するPython ETLフレームワーク。
KubernetesやOpenShift上でApache Kafkaクラスターを実行・管理するKubernetes Operator。Kafka ConnectとKafka Streamsにも対応。
ZooKeeperやJVMなしで動作する、C++製のKafka API互換ストリーミングデータプラットフォーム。