Repolode
ArroyoSystems

ArroyoSystems/arroyo

Rust製の分散ストリーム処理エンジン。リアルタイムデータストリーム上で、状態を保持するSQLパイプラインを実行できます。

代替できる製品:Apache Flink

スター
5,062
フォーク
380
未解決の Issue
130
最終コミット
昨日

これは何?

Arroyoは、継続的に届くデータに対してSQLクエリを実行し、バッチ処理の完了を待たずに結果が得られ次第受け取れるストリーム処理エンジンです。ウィンドウや結合などの状態を保持する操作に対応しており、状態をチェックポイントに保存することで、障害発生後のパイプラインの復旧や再スケジュールが可能です。

Arroyoは単一のバイナリとして提供されます。CLIでローカルクラスターを起動するか、Dockerで実行でき、ポート5115で待ち受けるWeb UIからパイプラインを管理できます。KafkaやIcebergを含む幅広いコネクターが用意されており、クラウド環境でシームレスにスケーリングできるよう設計されています。

このプロジェクトは、ストリーミング処理に関する深い専門知識がなくても、リアルタイム分析やデータ取り込みを実現したいチームを対象としています。パイプラインAPIと内部実装が分離されているためです。Cloudflareは、現在はR2への書き込みを行うステートレスパイプライン向けに、Cloudflare PipelinesとしてArroyoのマネージド版も提供しています。

主な機能

  • 01SQLでストリーミングパイプラインを記述
  • 02状態を保持するウィンドウ処理と結合
  • 03耐障害性と復旧のためのチェックポイント機能
  • 04Dataflowモデルに基づくイベント時刻処理
  • 05KafkaやIcebergなどのコネクター
  • 06CLIとWeb UIを備えた単一バイナリ

ユースケース

  • リアルタイムのイベントストリームから不正行為やセキュリティインシデントを検知
  • 製品やビジネスのリアルタイムダッシュボードを構築
  • ストリーミングデータをデータウェアハウスやデータレイクに取り込み
  • 機械学習モデル向けのリアルタイム特徴量を生成

クイックスタート

  1. 1

    Homebrewを使ってmacOSにインストールする

    brew install arroyosystems/tap/arroyo
  2. 2

    ローカルクラスターを起動する

    arroyo cluster
  3. 3

    クラスターの起動後、http://localhost:5115 でWeb UIを開く

使う前に知っておきたいこと

  • セルフホスティングでは、Arroyoクラスターとそのコンポーネントを自分で実行する必要があります。
  • マネージドCloudflare Pipelinesサービスでは、ステートフルパイプラインはまだ利用できません。現在はR2へのステートレスパイプラインのみをサポートしています。

収録されている特集

トピック

よくある質問

arroyo とは?
Rust製の分散ストリーム処理エンジン。リアルタイムデータストリーム上で、状態を保持するSQLパイプラインを実行できます。 Arroyoは、継続的に届くデータに対してSQLクエリを実行し、バッチ処理の完了を待たずに結果が得られ次第受け取れるストリーム処理エンジンです。ウィンドウや結合などの状態を保持する操作に対応しており、状態をチェックポイントに保存することで、障害発生後のパイプラインの復旧や再スケジュールが可能です。
arroyo は無料で使えますか?ライセンスは?
arroyo は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
arroyo は今もメンテナンスされていますか?
活発にメンテナンス中。arroyo の最終コミットは 2026年10月23日 です。
arroyo は何に使えますか?
リアルタイムのイベントストリームから不正行為やセキュリティインシデントを検知 製品やビジネスのリアルタイムダッシュボードを構築 ストリーミングデータをデータウェアハウスやデータレイクに取り込み 機械学習モデル向けのリアルタイム特徴量を生成
arroyo のインストール方法は?
Homebrewを使ってmacOSにインストールする: brew install arroyosystems/tap/arroyo ローカルクラスターを起動する: arroyo cluster クラスターの起動後、http://localhost:5115 でWeb UIを開く
arroyo はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/ArroyoSystems/arroyo

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト