Repolode
ArroyoSystems

ArroyoSystems/arroyo

실시간 데이터 스트림에서 상태 기반 SQL 파이프라인을 실행하는 Rust 기반 분산 스트림 처리 엔진입니다.

대체할 수 있는 제품:Apache Flink

스타
5,062
포크
380
열린 이슈
130
마지막 커밋
어제

어떤 프로젝트인가요?

Arroyo는 계속 들어오는 데이터를 대상으로 SQL 쿼리를 작성하고, 배치 작업이 끝날 때까지 기다리지 않고 결과가 나오는 즉시 확인할 수 있게 해주는 스트림 처리 엔진입니다. 윈도우와 조인 같은 상태 기반 연산을 지원하며, 상태를 체크포인트로 저장해 파이프라인이 장애 후 복구되고 다시 스케줄링될 수 있도록 합니다.

Arroyo는 단일 바이너리로 제공됩니다. CLI로 로컬 클러스터를 시작하거나 Docker에서 실행한 다음, 5115 포트에서 수신 대기하는 웹 UI를 통해 파이프라인을 관리할 수 있습니다. Kafka와 Iceberg를 비롯해 다양한 커넥터를 사용할 수 있으며, 클라우드 환경에서 원활하게 확장되도록 설계되었습니다.

이 프로젝트는 스트리밍에 대한 깊은 전문 지식 없이도 실시간 분석이나 데이터 수집을 원하는 팀을 대상으로 합니다. 파이프라인 API가 내부 구현과 분리되어 있기 때문입니다. Cloudflare는 현재 R2에 데이터를 쓰는 상태 비저장 파이프라인용으로, 관리형 버전인 Cloudflare Pipelines도 제공합니다.

핵심 기능

  • 01SQL로 스트리밍 파이프라인 작성
  • 02상태 기반 윈도우 및 조인
  • 03내결함성 및 복구를 위한 체크포인팅
  • 04Dataflow 모델을 기반으로 한 이벤트 시간 처리
  • 05Kafka와 Iceberg를 비롯한 커넥터
  • 06CLI와 웹 UI를 포함한 단일 바이너리

활용 사례

  • 실시간 이벤트 스트림에서 사기 또는 보안 사고 탐지
  • 실시간 제품 또는 비즈니스 대시보드 구축
  • 스트리밍 데이터를 데이터 웨어하우스나 데이터 레이크로 수집
  • 머신러닝 모델에 사용할 실시간 특성 생성

빠른 시작

  1. 1

    Homebrew로 macOS에 설치

    brew install arroyosystems/tap/arroyo
  2. 2

    로컬 클러스터 시작

    arroyo cluster
  3. 3

    클러스터가 실행되면 http://localhost:5115에서 Web UI 열기

사용 전 알아둘 점

  • 셀프 호스팅을 하려면 Arroyo 클러스터와 구성 요소를 직접 실행해야 합니다.
  • 관리형 Cloudflare Pipelines 서비스에서는 아직 상태 저장 파이프라인을 사용할 수 없습니다. 현재는 R2로 연결되는 상태 비저장 파이프라인만 지원합니다.

포함된 컬렉션

토픽

자주 묻는 질문

arroyo은(는) 무엇인가요?
실시간 데이터 스트림에서 상태 기반 SQL 파이프라인을 실행하는 Rust 기반 분산 스트림 처리 엔진입니다. Arroyo는 계속 들어오는 데이터를 대상으로 SQL 쿼리를 작성하고, 배치 작업이 끝날 때까지 기다리지 않고 결과가 나오는 즉시 확인할 수 있게 해주는 스트림 처리 엔진입니다. 윈도우와 조인 같은 상태 기반 연산을 지원하며, 상태를 체크포인트로 저장해 파이프라인이 장애 후 복구되고 다시 스케줄링될 수 있도록 합니다.
arroyo은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
arroyo은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
arroyo은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. arroyo의 마지막 커밋은 2026년 10월 23일입니다.
arroyo은(는) 어디에 사용할 수 있나요?
실시간 이벤트 스트림에서 사기 또는 보안 사고 탐지 실시간 제품 또는 비즈니스 대시보드 구축 스트리밍 데이터를 데이터 웨어하우스나 데이터 레이크로 수집 머신러닝 모델에 사용할 실시간 특성 생성
arroyo는 어떻게 설치하나요?
Homebrew로 macOS에 설치: brew install arroyosystems/tap/arroyo 로컬 클러스터 시작: arroyo cluster 클러스터가 실행되면 http://localhost:5115에서 Web UI 열기
arroyo은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ArroyoSystems/arroyo

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트