Repolode
Enviar
apache

apache/airflow

Apache Airflow é uma plataforma para criar, agendar e monitorar programaticamente workflows definidos como código Python (Dags).

Ver no GitHubSite
Estrelas
47,223
Forks
18,089
Issues abertas
1,877
Último commit
há 9 horas

O que é?

O Apache Airflow permite definir workflows como código. Cada workflow é um Dag composto por tarefas com dependências, e o scheduler executa essas tarefas em um conjunto de workers, na ordem exigida pelas dependências. Como os pipelines são código Python comum, eles podem ser gerados dinamicamente, parametrizados com templates Jinja e mantidos sob controle de versão e cobertos por testes.

O projeto oferece uma interface web para visualizar todos os Dags, o status de suas execuções, uma visualização em grade ao longo do tempo, o grafo de dependências de uma determinada execução, backfills em intervalos de datas e o código-fonte de cada Dag. Os utilitários de linha de comando abrangem operações com Dags. O Airflow pode ser instalado pelo PyPI ou por imagens Docker e oferece suporte a Kubernetes e a vários bancos de dados.

O Airflow é voltado a pipelines em lote, em sua maioria estáticos, e não a streaming de fato. É amplamente usado em tarefas de ETL e ELT, além de orquestrar etapas de pipelines de machine learning e LLM, como preparação de dados, chamada de modelos e avaliação. Espera-se que as tarefas sejam idempotentes; para grandes volumes de dados, é melhor usar serviços externos.

Recursos principais

  • 01Defina workflows como código Python, com geração dinâmica de Dags e templates Jinja.
  • 02O scheduler executa tarefas em um conjunto de workers, respeitando as dependências.
  • 03Interface web com visualizações em grade, grafo e assets, além de status das execuções e suporte a backfill.
  • 04Operadores integrados, extensíveis por meio de distribuições de providers.
  • 05Utilitários de linha de comando para gerenciar Dags e operações.
  • 06Instalação via pip ou imagens Docker, com suporte a Kubernetes.

Casos de uso

  • Agendar e monitorar pipelines de dados ETL ou ELT executados à noite.
  • Orquestrar etapas de treinamento, avaliação e implantação de modelos de machine learning.
  • Coordenar etapas de um pipeline de LLM ou IA, como preparação de dados e chamadas a modelos.

Início rápido

  1. 1

    Instale o pacote apache-airflow do PyPI, conforme descrito na seção «Installing from PyPI» do README

  2. 2

    Siga o guia oficial de introdução para executar o Airflow

Antes de usar

  • O Windows não é compatível nativamente; use o WSL2 ou contêineres Linux.
  • O SQLite é apenas para testes e não deve ser usado em produção.
  • A instalação pelo PyPI pode ser complicada devido ao gerenciamento de dependências.

Tópicos

#workflow-orchestration#data-pipelines#scheduler#python#etl#mlops#airflow#apache#apache-airflow#automation

Perguntas frequentes

O que é airflow?
Apache Airflow é uma plataforma para criar, agendar e monitorar programaticamente workflows definidos como código Python (Dags). O Apache Airflow permite definir workflows como código. Cada workflow é um Dag composto por tarefas com dependências, e o scheduler executa essas tarefas em um conjunto de workers, na ordem exigida pelas dependências. Como os pipelines são código Python comum, eles podem ser gerados dinamicamente, parametrizados com templates Jinja e mantidos sob controle de versão e cobertos por testes.
airflow é gratuito? Qual é a licença?
airflow é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
airflow ainda é mantido?
Manutenção ativa. O último commit de airflow foi em 20 de out. de 2026.
Para que posso usar airflow?
Agendar e monitorar pipelines de dados ETL ou ELT executados à noite. Orquestrar etapas de treinamento, avaliação e implantação de modelos de machine learning. Coordenar etapas de um pipeline de LLM ou IA, como preparação de dados e chamadas a modelos.
Como instalar airflow?
Instale o pacote apache-airflow do PyPI, conforme descrito na seção «Installing from PyPI» do README Siga o guia oficial de introdução para executar o Airflow
Onde consigo airflow?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/apache/airflow

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados