apache/airflow

Что это?

Ключевые возможности

• 01Описывайте рабочие процессы на Python, используя динамическую генерацию Dag и шаблоны Jinja.
• 02Планировщик запускает задачи на наборе воркеров с учётом зависимостей.
• 03Веб-интерфейс с представлениями в виде сетки, графа и ресурсов, отображением статусов запусков и поддержкой повторных запусков.
• 04Встроенные операторы с возможностью расширения с помощью дистрибутивов провайдеров.
• 05Утилиты командной строки для управления Dags и выполнения операций.
• 06Установка через pip или Docker-образы, поддержка Kubernetes.

Сценарии использования

• Планирование и мониторинг ночных пайплайнов ETL или ELT.
• Оркестрация этапов обучения, оценки и развёртывания моделей машинного обучения.
• Координация этапов пайплайна LLM или AI, например подготовки данных и вызовов моделей.

Быстрый старт

1. 1

   Установите пакет apache-airflow из PyPI, следуя инструкциям в разделе «Installing from PyPI» файла README

2. 2

   Следуйте официальному руководству для начинающих, чтобы запустить Airflow

Что важно знать

• !Windows не поддерживается нативно; используйте WSL2 или контейнеры Linux.
• !SQLite предназначен только для тестирования и не должен использоваться в production.
• !Установка из PyPI может быть непростой из-за особенностей управления зависимостями.

Темы

Частые вопросы

Что такое airflow?

Apache Airflow — платформа для программного описания, планирования и мониторинга рабочих процессов в виде Python-кода (Dags). Apache Airflow позволяет описывать рабочие процессы в виде кода. Каждый рабочий процесс — это Dag, состоящий из задач и зависимостей между ними; планировщик запускает задачи на наборе воркеров в соответствии с этими зависимостями. Поскольку пайплайны представляют собой обычный Python-код, их можно генерировать динамически, параметризовать с помощью шаблонов Jinja, хранить в системе контроля версий и покрывать тестами.

airflow можно использовать бесплатно? Какая у него лицензия?

airflow распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

airflow всё ещё поддерживается?

Активно поддерживается. Последний коммит в airflow — 20 окт. 2026 г..

Для чего можно использовать airflow?

Планирование и мониторинг ночных пайплайнов ETL или ELT. Оркестрация этапов обучения, оценки и развёртывания моделей машинного обучения. Координация этапов пайплайна LLM или AI, например подготовки данных и вызовов моделей.

Как установить airflow?

Установите пакет apache-airflow из PyPI, следуя инструкциям в разделе «Installing from PyPI» файла README Следуйте официальному руководству для начинающих, чтобы запустить Airflow

Где скачать airflow?

Исходный код и инструкции по установке — на GitHub: https://github.com/apache/airflow