Repolode
Предложить
ArroyoSystems

ArroyoSystems/arroyo

Распределённый движок потоковой обработки на Rust, который запускает SQL-пайплайны с сохранением состояния на потоках данных в реальном времени.

Open source альтернатива:Apache Flink

Открыть на GitHubСайт
Звёзды
5,062
Форки
380
Открытые issues
130
Последний коммит
вчера

Что это?

Arroyo — это движок потоковой обработки, который позволяет выполнять SQL-запросы к непрерывно поступающим данным и получать результаты сразу после их готовности, не дожидаясь завершения пакетного задания. Он поддерживает операции с сохранением состояния, например оконные функции и соединения, а также сохраняет контрольные точки состояния, чтобы пайплайны могли восстановиться после сбоев и быть запущены заново.

Arroyo поставляется в виде одного бинарного файла. Можно запустить локальный кластер с помощью CLI или в Docker, а затем управлять пайплайнами через веб-интерфейс на порту 5115. Доступен широкий выбор коннекторов, включая Kafka и Iceberg; проект рассчитан на работу в облачных средах с плавным масштабированием.

Проект предназначен для команд, которым нужна аналитика в реальном времени или загрузка данных без глубоких знаний о потоковой обработке: API пайплайнов отделены от внутренней реализации. Cloudflare также предлагает управляемую версию Arroyo под названием Cloudflare Pipelines — сейчас она поддерживает пайплайны без сохранения состояния, записывающие данные в R2.

Ключевые возможности

  • 01Создание потоковых пайплайнов на SQL
  • 02Оконные функции и соединения с сохранением состояния
  • 03Контрольные точки для отказоустойчивости и восстановления
  • 04Обработка по времени событий на основе модели Dataflow
  • 05Коннекторы, включая Kafka и Iceberg
  • 06Один бинарный файл с CLI и веб-интерфейсом

Сценарии использования

  • Обнаружение мошенничества и инцидентов безопасности в потоках событий в реальном времени
  • Создание продуктовых и бизнес-панелей мониторинга в реальном времени
  • Загрузка потоковых данных в хранилище данных или озеро данных
  • Генерация признаков в реальном времени для моделей машинного обучения

Быстрый старт

  1. 1

    Установите на macOS с помощью Homebrew

    brew install arroyosystems/tap/arroyo
  2. 2

    Запустите локальный кластер

    arroyo cluster
  3. 3

    Когда кластер запустится, откройте веб-интерфейс по адресу http://localhost:5115

Что важно знать

  • Для самостоятельного размещения необходимо самостоятельно запускать кластер Arroyo и его компоненты.
  • Пайплайны с состоянием пока недоступны в управляемом сервисе Cloudflare Pipelines; сейчас он поддерживает только пайплайны без состояния с выводом в R2.

В подборках

Базы данных и инструменты SQLФреймворки микросервисов и инфраструктура сервисов

Темы

#stream-processing#sql#rust#data-streaming#kafka#real-time-analytics#distributed-systems#data#data-stream-processing#dev-tools

Частые вопросы

Что такое arroyo?
Распределённый движок потоковой обработки на Rust, который запускает SQL-пайплайны с сохранением состояния на потоках данных в реальном времени. Arroyo — это движок потоковой обработки, который позволяет выполнять SQL-запросы к непрерывно поступающим данным и получать результаты сразу после их готовности, не дожидаясь завершения пакетного задания. Он поддерживает операции с сохранением состояния, например оконные функции и соединения, а также сохраняет контрольные точки состояния, чтобы пайплайны могли восстановиться после сбоев и быть запущены заново.
arroyo можно использовать бесплатно? Какая у него лицензия?
arroyo распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
arroyo всё ещё поддерживается?
Активно поддерживается. Последний коммит в arroyo — 23 окт. 2026 г..
Для чего можно использовать arroyo?
Обнаружение мошенничества и инцидентов безопасности в потоках событий в реальном времени Создание продуктовых и бизнес-панелей мониторинга в реальном времени Загрузка потоковых данных в хранилище данных или озеро данных Генерация признаков в реальном времени для моделей машинного обучения
Как установить arroyo?
Установите на macOS с помощью Homebrew: brew install arroyosystems/tap/arroyo Запустите локальный кластер: arroyo cluster Когда кластер запустится, откройте веб-интерфейс по адресу http://localhost:5115
Где скачать arroyo?
Исходный код и инструкции по установке — на GitHub: https://github.com/ArroyoSystems/arroyo

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты