spotify/luigi

어떤 프로젝트인가요?

핵심 기능

• 01작업 의존성을 해결하고 올바른 순서로 작업을 실행합니다.
• 02Hadoop, HDFS, Hive, Pig 및 Spark 작업을 기본 지원합니다.
• 03파일 시스템 작업을 원자적으로 수행해 실행 실패 시 불완전한 데이터가 남지 않습니다.
• 04작업을 검색하고 의존성 그래프를 확인할 수 있는 웹 시각화 기능을 제공합니다.
• 05작업을 Python으로 정의하므로 의존성을 프로그래밍 방식으로 계산할 수 있습니다.

활용 사례

• Hadoop, Hive 또는 Spark 작업으로 구성된 일별·시간별 데이터 파이프라인을 오케스트레이션합니다.
• 데이터베이스 내보내기, 변환, 머신러닝 학습 단계를 연결합니다.
• 실패한 뒤에도 완료된 작업을 다시 실행하지 않고 긴 다단계 배치 워크플로를 재시작합니다.

빠른 시작

1. 1

   PyPI에서 Luigi 설치하기

   pip install luigi
2. 2

   TOML 설정 지원을 포함해 Luigi 설치하기(선택 사항)

   pip install luigi[toml]

사용 전 알아둘 점

• !배치 파이프라인용으로 설계되어 실시간 또는 스트리밍 워크로드에는 적합하지 않습니다.
• !작업을 Python 코드로 정의하므로 Python 경험이 없는 팀은 도입하기 어려울 수 있습니다.

토픽

자주 묻는 질문

luigi은(는) 무엇인가요?

의존성 해결, 워크플로 관리, 실패 처리와 웹 시각화 기능을 제공하는 복잡한 배치 작업 파이프라인 구축용 Python 패키지입니다. Luigi는 여러 배치 작업을 파이프라인으로 연결하는 Python 패키지입니다. 각 작업과 의존성을 Python 코드로 정의하면 Luigi가 의존성 그래프를 파악하고 작업을 순서대로 실행하며 실패를 처리합니다. 따라서 오래 걸리는 워크플로를 재시작해도 완료된 작업을 다시 수행하지 않아도 됩니다.

luigi은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

luigi은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

luigi은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. luigi의 마지막 커밋은 2026년 10월 14일입니다.

luigi은(는) 어디에 사용할 수 있나요?

Hadoop, Hive 또는 Spark 작업으로 구성된 일별·시간별 데이터 파이프라인을 오케스트레이션합니다. 데이터베이스 내보내기, 변환, 머신러닝 학습 단계를 연결합니다. 실패한 뒤에도 완료된 작업을 다시 실행하지 않고 긴 다단계 배치 워크플로를 재시작합니다.

luigi는 어떻게 설치하나요?

PyPI에서 Luigi 설치하기: pip install luigi TOML 설정 지원을 포함해 Luigi 설치하기(선택 사항): pip install luigi[toml]

luigi은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/spotify/luigi