Repolode
apache

apache/dolphinscheduler

Распределённая low-code-платформа для оркестрации данных: помогает создавать, планировать и отслеживать сложные конвейеры обработки данных.

Open source альтернатива:Apache Airflow CloudControl-MAzkaban

Звёзды
14,528
Форки
5,117
Открытые issues
120
Последний коммит
23 часа назад

Что это?

Apache DolphinScheduler — платформа для оркестрации конвейеров обработки данных. Пользователи задают задачи и зависимости между ними, а затем планируют и отслеживают их через Web UI, Python SDK или Open API. В платформе есть множество встроенных типов задач, поэтому типовые процессы можно собирать перетаскиванием блоков, не написав ни строчки кода для планировщика.

Платформа построена на децентрализованной архитектуре с несколькими master- и worker-узлами, рассчитанной на горизонтальное масштабирование. Её можно развернуть в режимах Standalone, Cluster, Docker или Kubernetes. Версии рабочих процессов и отдельных их запусков контролируются, а работающие процессы и задачи в любой момент можно приостановить, остановить или восстановить. Также поддерживаются мультитенантность, управление правами для проектов и источников данных и дозаполнение пропущенных данных.

В проекте есть панель мониторинга состояния master- и worker-узлов и базы данных, в том числе с данными об использовании ресурсов серверов. Платформа также подключается к внешним источникам данных, например MySQL, PostgreSQL, Hive и Trino.

Ключевые возможности

  • 01Проектирование рабочих процессов перетаскиванием блоков в Web UI, а также доступ через Python SDK и Open API.
  • 02Несколько режимов развертывания: Standalone, Cluster, Docker и Kubernetes.
  • 03Архитектура с несколькими master- и worker-узлами, поддерживающая горизонтальное масштабирование.
  • 04Контроль версий рабочих процессов и задач, а также возможность приостанавливать, останавливать и восстанавливать их.
  • 05Мультитенантность и управление правами для проектов и источников данных.
  • 06Встроенная поддержка дозаполнения данных и панель мониторинга состояния master-, worker-узлов и базы данных.

Сценарии использования

  • Планирование регулярных ETL- или задач хранилища данных с зависимостями между задачами.
  • Оркестрация рабочих процессов обработки данных в нескольких облаках или дата-центрах.
  • Предоставление нескольким командам изолированных проектов и прав доступа на общей платформе планирования.
  • Запуск контейнеризованных задач в кластере Kubernetes.

Быстрый старт

  1. 1

    Быстрый запуск с Docker

  2. 2

    Запуск в автономном режиме

  3. 3

    Развертывание в Kubernetes

Что важно знать

  • Развертывание включает несколько компонентов, поэтому для самостоятельного хостинга потребуется немало настроек — одного установочного команды недостаточно.
  • Ссылки на быстрый старт в README ведут к документации для версии 3.3.0-alpha, а не к одной короткой команде установки.

Темы

Частые вопросы

Что такое dolphinscheduler?
Распределённая low-code-платформа для оркестрации данных: помогает создавать, планировать и отслеживать сложные конвейеры обработки данных. Apache DolphinScheduler — платформа для оркестрации конвейеров обработки данных. Пользователи задают задачи и зависимости между ними, а затем планируют и отслеживают их через Web UI, Python SDK или Open API. В платформе есть множество встроенных типов задач, поэтому типовые процессы можно собирать перетаскиванием блоков, не написав ни строчки кода для планировщика.
dolphinscheduler можно использовать бесплатно? Какая у него лицензия?
dolphinscheduler распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
dolphinscheduler всё ещё поддерживается?
Активно поддерживается. Последний коммит в dolphinscheduler — 21 окт. 2026 г..
Для чего можно использовать dolphinscheduler?
Планирование регулярных ETL- или задач хранилища данных с зависимостями между задачами. Оркестрация рабочих процессов обработки данных в нескольких облаках или дата-центрах. Предоставление нескольким командам изолированных проектов и прав доступа на общей платформе планирования. Запуск контейнеризованных задач в кластере Kubernetes.
Как установить dolphinscheduler?
Быстрый запуск с Docker Запуск в автономном режиме Развертывание в Kubernetes
Где скачать dolphinscheduler?
Исходный код и инструкции по установке — на GitHub: https://github.com/apache/dolphinscheduler

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Самостоятельно размещаемый оркестратор рабочих процессов: запускает существующие скрипты, SSH-команды и контейнеры по декларативным YAML-файлам, поставляется одним бинарным файлом и не требует базы данных.

4,4 тыс.378GoGPL-3.0Обновлён 3 дня назад