Netflix/maestro

Что это?

Ключевые возможности

• 01Описывает workflow как DAG из заданий, передаваемые в формате YAML или JSON.
• 02Предоставляет версионируемый REST API для создания, запуска и просмотра workflow и запусков.
• 03Предлагает Python SDK для создания и отправки workflow.
• 04Поддерживает интеграцию с AWS через обработку событий SQS и SNS.
• 05Позволяет выполнять задания в Kubernetes.
• 06Предоставляет сервис расширений с представлениями, разворачивающими foreach.

Сценарии использования

• Планирование регулярных ETL- или ELT-конвейеров для инженерии данных.
• Оркестрация workflow для обучения моделей машинного обучения и пакетного скоринга.
• Запуск большого количества заданий обработки данных через управляемый сервис workflow с API.
• Оценка workflow-движка в стиле Netflix для внутренней платформы данных.

Быстрый старт

1. 1

   Установите необходимые компоненты: Git, Java 21, Gradle и Docker

2. 2

   Соберите проект

   ./gradlew build
3. 3

   Запустите сервер

   ./gradlew bootRun
4. 4

   Создайте пример рабочего процесса через API

   curl --header "user: tester" -X POST 'http://127.0.0.1:8080/api/v3/workflows' -H "Content-Type: application/json" -d @maestro-server/src/test/resources/samples/sample-dag-test-1.json

Что важно знать

• !Для сборки и запуска необходимы Java 21, Gradle и Docker.
• !Проект создан как крупная внутренняя платформа; для самостоятельного хостинга потребуется настроить окружение.
• !Для локального тестирования некоторых функций, например режима AWS, нужны Docker Compose и LocalStack.

Темы

Частые вопросы

Что такое maestro?

Универсальный оркестратор workflow от Netflix для планирования и запуска конвейеров данных и ML в формате workflow-as-a-service. Maestro — оркестратор workflow, изначально созданный в Netflix для запуска конвейеров данных и машинного обучения. Пользователи описывают workflow как ориентированные ациклические графы (DAG) заданий, а затем планируют, запускают и отслеживают их через API сервера. Проект написан на Java и работает на Spring Boot.

maestro можно использовать бесплатно? Какая у него лицензия?

maestro распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

maestro всё ещё поддерживается?

Активно поддерживается. Последний коммит в maestro — 5 нояб. 2026 г..

Для чего можно использовать maestro?

Планирование регулярных ETL- или ELT-конвейеров для инженерии данных. Оркестрация workflow для обучения моделей машинного обучения и пакетного скоринга. Запуск большого количества заданий обработки данных через управляемый сервис workflow с API. Оценка workflow-движка в стиле Netflix для внутренней платформы данных.

Как установить maestro?

Установите необходимые компоненты: Git, Java 21, Gradle и Docker Соберите проект: ./gradlew build Запустите сервер: ./gradlew bootRun Создайте пример рабочего процесса через API: curl --header "user: tester" -X POST 'http://127.0.0.1:8080/api/v3/workflows' -H "Content-Type: application/json" -d @maestro-server/src/test/resources/samples/sample-dag-test-1.json

Где скачать maestro?

Исходный код и инструкции по установке — на GitHub: https://github.com/Netflix/maestro