pathwaycom/pathway

어떤 프로젝트인가요?

핵심 기능

• 01동일한 Python 코드로 배치 데이터와 스트리밍 데이터를 처리하는 통합 엔진입니다.
• 02Kafka, PostgreSQL, Google Drive, SharePoint 커넥터와 Airbyte를 통한 300개 이상의 데이터 소스를 지원합니다.
• 03조인, 윈도잉, 정렬 등의 상태 기반 변환과 임의의 Python 함수 실행을 지원합니다.
• 04계산 상태를 저장하는 지속성 기능으로 업데이트나 충돌 후에도 파이프라인을 재시작할 수 있습니다.
• 05멀티스레딩, 멀티프로세싱 및 분산 계산을 지원하는 Rust 엔진입니다.
• 06메모리 기반 실시간 벡터 인덱스와 LangChain 및 LlamaIndex 통합을 포함한 LLM 도구를 제공합니다.

활용 사례

• Kafka 또는 데이터베이스에서 데이터를 가져와 변환하는 실시간 ETL입니다.
• 로그 모니터링과 같은 알림 기능을 갖춘 이벤트 기반 파이프라인입니다.
• 문서가 변경될 때마다 벡터 인덱스를 업데이트하는 실시간 RAG 애플리케이션입니다.
• 기존 배치 데이터 작업을 다시 작성하지 않고 스트리밍 방식으로 전환할 수 있습니다.

빠른 시작

1. 1

   pip으로 PyPI에서 Pathway를 설치합니다

   pip install -U pathway
2. 2

   예제 코드를 main.py로 저장하고 Pathway runner로 실행합니다

   pathway spawn python main.py

사용 전 알아둘 점

• !macOS와 Linux에서만 사용할 수 있습니다. 다른 시스템에서는 가상 머신이 필요합니다.
• !Python 3.10 이상이 필요합니다.
• !메타데이터에는 라이선스가 NOASSERTION으로 표시되어 있고 README 배지에는 BSL이 표시되어 있으므로, 상업적으로 사용하기 전에 라이선스 조건을 확인하세요.
• !exactly-once 일관성은 엔터프라이즈 버전에서만 제공됩니다. 무료 버전은 at-least-once를 제공합니다.

토픽

자주 묻는 질문

pathway은(는) 무엇인가요?

Rust 엔진을 기반으로 스트림 처리, 실시간 분석, LLM 파이프라인과 RAG를 지원하는 Python ETL 프레임워크입니다. Pathway는 배치 데이터와 스트리밍 데이터를 모두 처리하는 파이프라인을 구축하기 위한 Python ETL 프레임워크입니다. 로컬 개발, CI 테스트, 배치 작업, 스트림 재생, 실시간 처리에 동일한 코드를 사용할 수 있어 개발자가 배치용과 스트리밍용 파이프라인을 따로 관리할 필요가 없습니다.

pathway은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

pathway은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

pathway은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. pathway의 마지막 커밋은 2026년 10월 20일입니다.

pathway은(는) 어디에 사용할 수 있나요?

Kafka 또는 데이터베이스에서 데이터를 가져와 변환하는 실시간 ETL입니다. 로그 모니터링과 같은 알림 기능을 갖춘 이벤트 기반 파이프라인입니다. 문서가 변경될 때마다 벡터 인덱스를 업데이트하는 실시간 RAG 애플리케이션입니다. 기존 배치 데이터 작업을 다시 작성하지 않고 스트리밍 방식으로 전환할 수 있습니다.

pathway는 어떻게 설치하나요?

pip으로 PyPI에서 Pathway를 설치합니다: pip install -U pathway 예제 코드를 main.py로 저장하고 Pathway runner로 실행합니다: pathway spawn python main.py

pathway은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/pathwaycom/pathway