Singer tap과 target을 활용해 ELT 파이프라인을 구축하는 선언형 코드 우선 데이터 통합 엔진으로, Hub를 통해 600개 이상의 API와 데이터베이스를 지원합니다.
dagster-io/dagster
테이블, 데이터셋, ML 모델, 보고서 같은 데이터 자산을 정의하고 실행 및 모니터링하는 Python 오케스트레이션 플랫폼입니다.
대체할 수 있는 제품:Apache Airflow
- 스타
- 16,311
- 포크
- 2,366
- 열린 이슈
- 2,604
- 마지막 커밋
- 10시간 전
어떤 프로젝트인가요?
Dagster에서는 만들고자 하는 데이터 자산을 Python 함수로 선언하면, 적절한 시점에 실행하고 최신 상태로 유지하는 일을 처리합니다. 자산은 그래프로 연결되므로 웹 UI에서 의존성, 계보, 실행 이력을 확인할 수 있습니다.
이 프로젝트는 로컬 개발과 단위 테스트부터 통합 테스트, 스테이징, 프로덕션까지 개발 수명 주기 전반에서 사용할 수 있도록 설계되었습니다. 스케줄링, 멀티 테넌트 실행, 기본 제공 옵저버빌리티와 카탈로깅 기능을 제공하며, 일반적으로 사용하는 데이터 도구와의 통합도 꾸준히 늘고 있습니다.
Python 3.9부터 3.14까지 지원하며, dagster 및 dagster-webserver 패키지를 통해 PyPI에서 설치할 수 있습니다.
핵심 기능
- 01선언형 모델을 사용해 데이터 자산을 Python 함수로 정의합니다.
- 02웹 UI에서 자산의 의존성과 계보를 시각화합니다.
- 03자산을 스케줄링하고 실행해 최신 상태로 유지합니다.
- 04옵저버빌리티, 진단, 메타데이터 카탈로깅 기능을 기본 제공합니다.
- 05프로덕션 배포를 위한 멀티 테넌트 오케스트레이션 엔진입니다.
- 06인기 있는 데이터 도구와의 통합을 꾸준히 확대하고 있습니다.
활용 사례
- 데이터 웨어하우스 테이블을 생성하는 ETL 또는 ELT 파이프라인 구축.
- 머신러닝 학습 및 모델 파이프라인 오케스트레이션.
- 최신 상태를 유지해야 하는 보고서와 데이터셋 관리.
- 프로덕션에 배포하기 전에 로컬과 CI에서 데이터 파이프라인 테스트.
빠른 시작
- 1
uv로 Dagster, 웹 서버, CLI를 설치하세요
uv add dagster dagster-webserver dagster-dg-cli - 2
문서의 실습 튜토리얼을 따라 첫 번째 파이프라인을 구축하세요
토픽
자주 묻는 질문
- dagster은(는) 무엇인가요?
- 테이블, 데이터셋, ML 모델, 보고서 같은 데이터 자산을 정의하고 실행 및 모니터링하는 Python 오케스트레이션 플랫폼입니다. Dagster에서는 만들고자 하는 데이터 자산을 Python 함수로 선언하면, 적절한 시점에 실행하고 최신 상태로 유지하는 일을 처리합니다. 자산은 그래프로 연결되므로 웹 UI에서 의존성, 계보, 실행 이력을 확인할 수 있습니다.
- dagster은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- dagster은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- dagster은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. dagster의 마지막 커밋은 2026년 10월 21일입니다.
- dagster은(는) 어디에 사용할 수 있나요?
- 데이터 웨어하우스 테이블을 생성하는 ETL 또는 ELT 파이프라인 구축. 머신러닝 학습 및 모델 파이프라인 오케스트레이션. 최신 상태를 유지해야 하는 보고서와 데이터셋 관리. 프로덕션에 배포하기 전에 로컬과 CI에서 데이터 파이프라인 테스트.
- dagster는 어떻게 설치하나요?
- uv로 Dagster, 웹 서버, CLI를 설치하세요: uv add dagster dagster-webserver dagster-dg-cli 문서의 실습 튜토리얼을 따라 첫 번째 파이프라인을 구축하세요
- dagster은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/dagster-io/dagster
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Apache Airflow는 Python 코드로 정의한 워크플로를 작성하고 예약하며 모니터링하는 플랫폼입니다.
스크립트를 스케줄링, 재시도, 캐싱, 이벤트 기반 자동화 기능을 갖춘 프로덕션 데이터 파이프라인으로 전환하는 Python 워크플로 오케스트레이션 프레임워크입니다.
YAML로 정의한 데이터, AI, 인프라 워크플로를 예약 실행하고 이벤트에 반응해 실행하는 오픈소스 오케스트레이션 플랫폼입니다.
Rust 엔진을 기반으로 스트림 처리, 실시간 분석, LLM 파이프라인과 RAG를 지원하는 Python ETL 프레임워크입니다.
복잡한 데이터 파이프라인 워크플로를 구축하고 예약·모니터링할 수 있는 분산형 로우코드 데이터 오케스트레이션 플랫폼입니다.