Apache Superset은 다양한 데이터베이스에서 데이터를 탐색하고 차트와 대시보드를 만들며 SQL을 실행하는 셀프서비스 BI 웹 앱입니다.
apache/airflow
Apache Airflow는 Python 코드로 정의한 워크플로를 작성하고 예약하며 모니터링하는 플랫폼입니다.
- 스타
- 47,223
- 포크
- 18,089
- 열린 이슈
- 1,877
- 마지막 커밋
- 10시간 전
어떤 프로젝트인가요?
Apache Airflow를 사용하면 워크플로를 코드로 정의할 수 있습니다. 각 워크플로는 의존 관계가 있는 태스크로 구성된 Dag이며, 스케줄러는 의존 관계에 따라 여러 워커에서 태스크를 실행합니다. 파이프라인이 일반적인 Python 코드이므로 동적으로 생성하고, Jinja 템플릿으로 매개변수화하며, 버전 관리와 테스트를 적용할 수 있습니다.
프로젝트에는 모든 Dag와 실행 상태를 확인하고, 시간대별 그리드 뷰와 특정 실행의 의존성 그래프를 살펴보며, 날짜 범위를 지정해 백필을 수행하고, 각 Dag의 소스 코드를 확인할 수 있는 웹 UI가 제공됩니다. 명령줄 유틸리티로 Dag 관련 작업을 수행할 수 있습니다. Airflow는 PyPI나 Docker 이미지로 설치할 수 있으며 Kubernetes와 다양한 데이터베이스를 지원합니다.
Airflow는 진정한 스트리밍보다 배치 방식의 대체로 정적인 파이프라인을 대상으로 합니다. ETL 및 ELT 작업뿐 아니라 데이터 준비, 모델 호출, 평가와 같은 머신러닝 및 LLM 파이프라인 단계를 오케스트레이션하는 데도 널리 사용됩니다. 태스크는 멱등성을 갖도록 설계해야 하며, 대용량 데이터는 외부 서비스를 이용해 처리하는 편이 좋습니다.
핵심 기능
- 01Python 코드로 워크플로를 정의하고 Dag를 동적으로 생성하며 Jinja 템플릿을 사용할 수 있습니다.
- 02스케줄러가 의존 관계를 준수하면서 여러 워커에서 태스크를 실행합니다.
- 03그리드, 그래프, 에셋 뷰와 실행 상태 확인 및 백필을 지원하는 웹 UI를 제공합니다.
- 04기본 제공 오퍼레이터를 사용할 수 있으며 provider 배포판으로 확장할 수 있습니다.
- 05Dag 관리 및 운영을 위한 명령줄 유틸리티를 제공합니다.
- 06pip 또는 Docker 이미지로 설치할 수 있고 Kubernetes를 지원합니다.
활용 사례
- 야간 ETL 또는 ELT 데이터 파이프라인을 예약하고 모니터링합니다.
- 머신러닝 학습, 평가, 배포 단계를 오케스트레이션합니다.
- 데이터 준비와 모델 호출 같은 LLM 또는 AI 파이프라인 단계를 조율합니다.
빠른 시작
- 1
README의 'Installing from PyPI' 섹션에 설명된 대로 PyPI에서 apache-airflow 패키지를 설치합니다
- 2
공식 시작 가이드에 따라 Airflow를 실행합니다
사용 전 알아둘 점
- Windows는 기본적으로 지원되지 않습니다. WSL2 또는 Linux 컨테이너를 사용하세요.
- SQLite는 테스트용으로만 사용해야 하며, 프로덕션 환경에서는 사용하면 안 됩니다.
- 종속성 처리 방식 때문에 PyPI에서 설치하는 과정이 까다로울 수 있습니다.
토픽
자주 묻는 질문
- airflow은(는) 무엇인가요?
- Apache Airflow는 Python 코드로 정의한 워크플로를 작성하고 예약하며 모니터링하는 플랫폼입니다. Apache Airflow를 사용하면 워크플로를 코드로 정의할 수 있습니다. 각 워크플로는 의존 관계가 있는 태스크로 구성된 Dag이며, 스케줄러는 의존 관계에 따라 여러 워커에서 태스크를 실행합니다. 파이프라인이 일반적인 Python 코드이므로 동적으로 생성하고, Jinja 템플릿으로 매개변수화하며, 버전 관리와 테스트를 적용할 수 있습니다.
- airflow은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- airflow은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- airflow은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. airflow의 마지막 커밋은 2026년 10월 20일입니다.
- airflow은(는) 어디에 사용할 수 있나요?
- 야간 ETL 또는 ELT 데이터 파이프라인을 예약하고 모니터링합니다. 머신러닝 학습, 평가, 배포 단계를 오케스트레이션합니다. 데이터 준비와 모델 호출 같은 LLM 또는 AI 파이프라인 단계를 조율합니다.
- airflow는 어떻게 설치하나요?
- README의 'Installing from PyPI' 섹션에 설명된 대로 PyPI에서 apache-airflow 패키지를 설치합니다 공식 시작 가이드에 따라 Airflow를 실행합니다
- airflow은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/apache/airflow
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
기존 소프트웨어용 에이전트 친화적인 CLI를 생성하고, 바로 설치할 수 있는 CLI를 등록하는 CLI-Hub 툴킷입니다.
지속 실행, 휴먼 인 더 루프, 메모리를 지원하는 상태 기반 장기 실행 에이전트를 구축하기 위한 저수준 Python 프레임워크입니다.
실험 추적, 오케스트레이션, 배포, 모니터링 및 모범 사례를 다루는 무료 자기 주도형 9주 온라인 MLOps 과정입니다.
순차형, 동시 실행형, 그래프 기반, 계층형 워크플로로 멀티 에이전트 시스템을 구축하고 조율하는 Python 프레임워크.
Windows, macOS, Linux에서 Logitech HID++ 마우스 버튼을 재매핑하고 제어하는 무료 로컬 대안인 Logitech Options+입니다.