Apache Airflow — платформа для программного описания, планирования и мониторинга рабочих процессов в виде Python-кода (Dags).
apache/dolphinscheduler
Распределённая low-code-платформа для оркестрации данных: помогает создавать, планировать и отслеживать сложные конвейеры обработки данных.
Open source альтернатива:Apache Airflow Cloud
Control-M
Azkaban
- Звёзды
- 14,528
- Форки
- 5,117
- Открытые issues
- 120
- Последний коммит
- 23 часа назад
Что это?
Apache DolphinScheduler — платформа для оркестрации конвейеров обработки данных. Пользователи задают задачи и зависимости между ними, а затем планируют и отслеживают их через Web UI, Python SDK или Open API. В платформе есть множество встроенных типов задач, поэтому типовые процессы можно собирать перетаскиванием блоков, не написав ни строчки кода для планировщика.
Платформа построена на децентрализованной архитектуре с несколькими master- и worker-узлами, рассчитанной на горизонтальное масштабирование. Её можно развернуть в режимах Standalone, Cluster, Docker или Kubernetes. Версии рабочих процессов и отдельных их запусков контролируются, а работающие процессы и задачи в любой момент можно приостановить, остановить или восстановить. Также поддерживаются мультитенантность, управление правами для проектов и источников данных и дозаполнение пропущенных данных.
В проекте есть панель мониторинга состояния master- и worker-узлов и базы данных, в том числе с данными об использовании ресурсов серверов. Платформа также подключается к внешним источникам данных, например MySQL, PostgreSQL, Hive и Trino.
Ключевые возможности
- 01Проектирование рабочих процессов перетаскиванием блоков в Web UI, а также доступ через Python SDK и Open API.
- 02Несколько режимов развертывания: Standalone, Cluster, Docker и Kubernetes.
- 03Архитектура с несколькими master- и worker-узлами, поддерживающая горизонтальное масштабирование.
- 04Контроль версий рабочих процессов и задач, а также возможность приостанавливать, останавливать и восстанавливать их.
- 05Мультитенантность и управление правами для проектов и источников данных.
- 06Встроенная поддержка дозаполнения данных и панель мониторинга состояния master-, worker-узлов и базы данных.
Сценарии использования
- Планирование регулярных ETL- или задач хранилища данных с зависимостями между задачами.
- Оркестрация рабочих процессов обработки данных в нескольких облаках или дата-центрах.
- Предоставление нескольким командам изолированных проектов и прав доступа на общей платформе планирования.
- Запуск контейнеризованных задач в кластере Kubernetes.
Быстрый старт
- 1
Быстрый запуск с Docker
- 2
Запуск в автономном режиме
- 3
Развертывание в Kubernetes
Что важно знать
- Развертывание включает несколько компонентов, поэтому для самостоятельного хостинга потребуется немало настроек — одного установочного команды недостаточно.
- Ссылки на быстрый старт в README ведут к документации для версии 3.3.0-alpha, а не к одной короткой команде установки.
Темы
Частые вопросы
- Что такое dolphinscheduler?
- Распределённая low-code-платформа для оркестрации данных: помогает создавать, планировать и отслеживать сложные конвейеры обработки данных. Apache DolphinScheduler — платформа для оркестрации конвейеров обработки данных. Пользователи задают задачи и зависимости между ними, а затем планируют и отслеживают их через Web UI, Python SDK или Open API. В платформе есть множество встроенных типов задач, поэтому типовые процессы можно собирать перетаскиванием блоков, не написав ни строчки кода для планировщика.
- dolphinscheduler можно использовать бесплатно? Какая у него лицензия?
- dolphinscheduler распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- dolphinscheduler всё ещё поддерживается?
- Активно поддерживается. Последний коммит в dolphinscheduler — 21 окт. 2026 г..
- Для чего можно использовать dolphinscheduler?
- Планирование регулярных ETL- или задач хранилища данных с зависимостями между задачами. Оркестрация рабочих процессов обработки данных в нескольких облаках или дата-центрах. Предоставление нескольким командам изолированных проектов и прав доступа на общей платформе планирования. Запуск контейнеризованных задач в кластере Kubernetes.
- Как установить dolphinscheduler?
- Быстрый запуск с Docker Запуск в автономном режиме Развертывание в Kubernetes
- Где скачать dolphinscheduler?
- Исходный код и инструкции по установке — на GitHub: https://github.com/apache/dolphinscheduler
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Python-фреймворк ETL для потоковой обработки, аналитики в реальном времени, LLM-пайплайнов и RAG на базе движка на Rust.
Платформа оркестрации на Python для описания, запуска и мониторинга данных: таблиц, датасетов, ML-моделей и отчётов.
Система на Python для запуска LLM-пайплайнов map-reduce и ETL над большими объёмами структурированных и неструктурированных данных по описанию на естественном языке.
Декларативный движок интеграции данных с приоритетом кода для построения ELT-пайплайнов на базе Singer taps и targets; через Hub доступны 600+ API и баз данных.
Самостоятельно размещаемый оркестратор рабочих процессов: запускает существующие скрипты, SSH-команды и контейнеры по декларативным YAML-файлам, поставляется одним бинарным файлом и не требует базы данных.