Repolode
提交项目
dagster-io

dagster-io/dagster

用于定义、运行和监控数据资产（表、数据集、机器学习模型、报表）的 Python 编排平台。

可替代:Apache Airflow

在 GitHub 查看官网
Star
16,311
Fork
2,366
未关闭 Issue
2,604
最近提交
10小时前

这是什么？

Dagster 让你用 Python 函数声明想要构建的数据资产，并负责在合适的时间运行它们、保持资产处于最新状态。资产之间会形成依赖图，依赖关系、血缘和运行历史都可以在 Web UI 中查看。

项目面向数据开发的完整生命周期，从本地开发、单元测试，到集成测试、预发布和生产环境都可以使用。它提供调度、多租户执行、内置的可观测性与资产目录，并持续扩充与常见数据工具的集成。

支持 Python 3.9 至 3.14，可通过 PyPI 安装 dagster 与 dagster-webserver 等包。

核心功能

  • 01以声明式方式用 Python 函数定义数据资产。
  • 02在 Web UI 中可视化资产依赖关系与血缘。
  • 03调度并运行资产，保持数据及时更新。
  • 04内置可观测性、诊断和元数据目录。
  • 05支持多租户的编排引擎，适用于生产部署。
  • 06提供持续增长的主流数据工具集成库。

适用场景

  • 构建生成数据仓库表的 ETL 或 ELT 管道。
  • 编排机器学习训练与模型流水线。
  • 维护需要保持最新的报表和数据集。
  • 在上线前于本地和 CI 中测试数据管道。

快速上手

  1. 1

    使用 uv 安装 Dagster、Web 服务器和 CLI

    uv add dagster dagster-webserver dagster-dg-cli
  2. 2

    按照文档中的实践教程构建你的第一个管道

标签

#data-engineering#orchestration#etl#workflow#data-pipelines#python#mlops#metadata#analytics#dagster

常见问题

dagster 是什么？
用于定义、运行和监控数据资产（表、数据集、机器学习模型、报表）的 Python 编排平台。 Dagster 让你用 Python 函数声明想要构建的数据资产，并负责在合适的时间运行它们、保持资产处于最新状态。资产之间会形成依赖图，依赖关系、血缘和运行历史都可以在 Web UI 中查看。
dagster 可以免费使用吗？用的什么许可证？
dagster 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
dagster 还在维护吗？
活跃维护中。dagster 最近一次提交是在 2026年10月21日。
dagster 适合用来做什么？
构建生成数据仓库表的 ETL 或 ELT 管道。 编排机器学习训练与模型流水线。 维护需要保持最新的报表和数据集。 在上线前于本地和 CI 中测试数据管道。
dagster 怎么安装和运行？
使用 uv 安装 Dagster、Web 服务器和 CLI: uv add dagster dagster-webserver dagster-dg-cli 按照文档中的实践教程构建你的第一个管道
在哪里获取 dagster？
源代码和安装说明在 GitHub 上：https://github.com/dagster-io/dagster

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目