Repolode
apache

apache/airflow

Apache Airflow는 Python 코드로 정의한 워크플로를 작성하고 예약하며 모니터링하는 플랫폼입니다.

스타
47,223
포크
18,089
열린 이슈
1,877
마지막 커밋
10시간 전

어떤 프로젝트인가요?

Apache Airflow를 사용하면 워크플로를 코드로 정의할 수 있습니다. 각 워크플로는 의존 관계가 있는 태스크로 구성된 Dag이며, 스케줄러는 의존 관계에 따라 여러 워커에서 태스크를 실행합니다. 파이프라인이 일반적인 Python 코드이므로 동적으로 생성하고, Jinja 템플릿으로 매개변수화하며, 버전 관리와 테스트를 적용할 수 있습니다.

프로젝트에는 모든 Dag와 실행 상태를 확인하고, 시간대별 그리드 뷰와 특정 실행의 의존성 그래프를 살펴보며, 날짜 범위를 지정해 백필을 수행하고, 각 Dag의 소스 코드를 확인할 수 있는 웹 UI가 제공됩니다. 명령줄 유틸리티로 Dag 관련 작업을 수행할 수 있습니다. Airflow는 PyPI나 Docker 이미지로 설치할 수 있으며 Kubernetes와 다양한 데이터베이스를 지원합니다.

Airflow는 진정한 스트리밍보다 배치 방식의 대체로 정적인 파이프라인을 대상으로 합니다. ETL 및 ELT 작업뿐 아니라 데이터 준비, 모델 호출, 평가와 같은 머신러닝 및 LLM 파이프라인 단계를 오케스트레이션하는 데도 널리 사용됩니다. 태스크는 멱등성을 갖도록 설계해야 하며, 대용량 데이터는 외부 서비스를 이용해 처리하는 편이 좋습니다.

핵심 기능

  • 01Python 코드로 워크플로를 정의하고 Dag를 동적으로 생성하며 Jinja 템플릿을 사용할 수 있습니다.
  • 02스케줄러가 의존 관계를 준수하면서 여러 워커에서 태스크를 실행합니다.
  • 03그리드, 그래프, 에셋 뷰와 실행 상태 확인 및 백필을 지원하는 웹 UI를 제공합니다.
  • 04기본 제공 오퍼레이터를 사용할 수 있으며 provider 배포판으로 확장할 수 있습니다.
  • 05Dag 관리 및 운영을 위한 명령줄 유틸리티를 제공합니다.
  • 06pip 또는 Docker 이미지로 설치할 수 있고 Kubernetes를 지원합니다.

활용 사례

  • 야간 ETL 또는 ELT 데이터 파이프라인을 예약하고 모니터링합니다.
  • 머신러닝 학습, 평가, 배포 단계를 오케스트레이션합니다.
  • 데이터 준비와 모델 호출 같은 LLM 또는 AI 파이프라인 단계를 조율합니다.

빠른 시작

  1. 1

    README의 'Installing from PyPI' 섹션에 설명된 대로 PyPI에서 apache-airflow 패키지를 설치합니다

  2. 2

    공식 시작 가이드에 따라 Airflow를 실행합니다

사용 전 알아둘 점

  • Windows는 기본적으로 지원되지 않습니다. WSL2 또는 Linux 컨테이너를 사용하세요.
  • SQLite는 테스트용으로만 사용해야 하며, 프로덕션 환경에서는 사용하면 안 됩니다.
  • 종속성 처리 방식 때문에 PyPI에서 설치하는 과정이 까다로울 수 있습니다.

토픽

자주 묻는 질문

airflow은(는) 무엇인가요?
Apache Airflow는 Python 코드로 정의한 워크플로를 작성하고 예약하며 모니터링하는 플랫폼입니다. Apache Airflow를 사용하면 워크플로를 코드로 정의할 수 있습니다. 각 워크플로는 의존 관계가 있는 태스크로 구성된 Dag이며, 스케줄러는 의존 관계에 따라 여러 워커에서 태스크를 실행합니다. 파이프라인이 일반적인 Python 코드이므로 동적으로 생성하고, Jinja 템플릿으로 매개변수화하며, 버전 관리와 테스트를 적용할 수 있습니다.
airflow은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
airflow은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
airflow은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. airflow의 마지막 커밋은 2026년 10월 20일입니다.
airflow은(는) 어디에 사용할 수 있나요?
야간 ETL 또는 ELT 데이터 파이프라인을 예약하고 모니터링합니다. 머신러닝 학습, 평가, 배포 단계를 오케스트레이션합니다. 데이터 준비와 모델 호출 같은 LLM 또는 AI 파이프라인 단계를 조율합니다.
airflow는 어떻게 설치하나요?
README의 'Installing from PyPI' 섹션에 설명된 대로 PyPI에서 apache-airflow 패키지를 설치합니다 공식 시작 가이드에 따라 Airflow를 실행합니다
airflow은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/apache/airflow

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트