spotify/luigi

Что это?

Ключевые возможности

• 01Разрешает зависимости между задачами и запускает их в правильном порядке.
• 02Встроенная поддержка заданий Hadoop, HDFS, Hive, Pig и Spark.
• 03Атомарные операции файловой системы не оставляют частично записанных данных после сбоя.
• 04Веб-визуализатор для поиска задач и просмотра графа зависимостей.
• 05Задачи описываются на Python, поэтому зависимости можно вычислять программно.

Сценарии использования

• Оркестрация ежедневных или ежечасных конвейеров обработки данных, состоящих из заданий Hadoop, Hive или Spark.
• Объединение в цепочки экспорта данных из баз, преобразований и этапов обучения моделей машинного обучения.
• Возобновление длительных многоэтапных пакетных рабочих процессов после сбоя без повторного запуска завершённых задач.

Быстрый старт

1. 1

   Установить Luigi из PyPI

   pip install luigi
2. 2

   Установить Luigi с поддержкой конфигурации TOML (необязательно)

   pip install luigi[toml]

Что важно знать

• !Инструмент предназначен для пакетных конвейеров, поэтому не подходит для задач реального времени или потоковой обработки.
• !Задачи определяются в коде Python, поэтому командам без опыта работы с Python может быть сложнее начать его использовать.

Темы

Частые вопросы

Что такое luigi?

Python-пакет для создания сложных конвейеров пакетных задач с разрешением зависимостей, управлением рабочими процессами, обработкой сбоев и веб-визуализацией. Luigi — это Python-пакет для объединения множества пакетных задач в конвейеры. Вы описываете каждую задачу и её зависимости в коде на Python, а Luigi строит граф зависимостей, запускает задачи в нужном порядке и обрабатывает сбои, чтобы длительные рабочие процессы можно было возобновить без повторного выполнения уже завершённых задач.

luigi можно использовать бесплатно? Какая у него лицензия?

luigi распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

luigi всё ещё поддерживается?

Активно поддерживается. Последний коммит в luigi — 14 окт. 2026 г..

Для чего можно использовать luigi?

Оркестрация ежедневных или ежечасных конвейеров обработки данных, состоящих из заданий Hadoop, Hive или Spark. Объединение в цепочки экспорта данных из баз, преобразований и этапов обучения моделей машинного обучения. Возобновление длительных многоэтапных пакетных рабочих процессов после сбоя без повторного запуска завершённых задач.

Как установить luigi?

Установить Luigi из PyPI: pip install luigi Установить Luigi с поддержкой конфигурации TOML (необязательно): pip install luigi[toml]

Где скачать luigi?

Исходный код и инструкции по установке — на GitHub: https://github.com/spotify/luigi