pathwaycom/pathway

O que é?

Recursos principais

• 01Mecanismo unificado para dados em lote e em streaming, usando o mesmo código Python.
• 02Conectores para Kafka, PostgreSQL, Google Drive, SharePoint e mais de 300 fontes via Airbyte.
• 03Transformações com estado, como joins, janelas e ordenação, além de suporte a funções Python arbitrárias.
• 04Persistência para salvar o estado da computação e permitir que os pipelines sejam retomados após atualizações ou falhas.
• 05Mecanismo em Rust com suporte a multithreading, multiprocessing e computação distribuída.
• 06Ferramentas integradas para LLM, com índice vetorial em memória e em tempo real, e integrações com LangChain e LlamaIndex.

Casos de uso

• ETL em tempo real para mover e transformar dados do Kafka ou de bancos de dados.
• Pipelines orientados a eventos com alertas, como monitoramento de logs.
• Aplicações RAG ao vivo que mantêm um índice vetorial atualizado conforme os documentos mudam.
• Migrar um job de dados em lote existente para streaming sem reescrevê-lo.

Início rápido

1. 1

   Instale o Pathway do PyPI com pip

   pip install -U pathway
2. 2

   Salve o código de exemplo como main.py e execute-o com o Pathway runner

   pathway spawn python main.py

Antes de usar

• !Disponível apenas no macOS e no Linux; outros sistemas precisam de uma máquina virtual.
• !Requer Python 3.10 ou superior.
• !Nos metadados, a licença aparece como NOASSERTION, enquanto o selo do README aponta para BSL. Confira os termos da licença antes de usar o software comercialmente.
• !A consistência exactly-once está disponível apenas na versão Enterprise; a versão gratuita oferece at-least-once.

Tópicos

Perguntas frequentes

O que é pathway?

Framework ETL em Python para processamento de streams, análises em tempo real, pipelines com LLM e RAG, com tecnologia de um mecanismo em Rust. Pathway é um framework ETL em Python para criar pipelines que processam dados em lote e em streaming. O mesmo código pode ser usado no desenvolvimento local, em testes de CI, jobs em lote, reprodução de streams e processamento ao vivo, sem que os desenvolvedores precisem manter versões separadas do pipeline para lote e streaming.

pathway é gratuito? Qual é a licença?

pathway é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.

pathway ainda é mantido?

Manutenção ativa. O último commit de pathway foi em 20 de out. de 2026.

Para que posso usar pathway?

ETL em tempo real para mover e transformar dados do Kafka ou de bancos de dados. Pipelines orientados a eventos com alertas, como monitoramento de logs. Aplicações RAG ao vivo que mantêm um índice vetorial atualizado conforme os documentos mudam. Migrar um job de dados em lote existente para streaming sem reescrevê-lo.

Como instalar pathway?

Instale o Pathway do PyPI com pip: pip install -U pathway Salve o código de exemplo como main.py e execute-o com o Pathway runner: pathway spawn python main.py

Onde consigo pathway?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/pathwaycom/pathway