pathwaycom/pathway

これは何？

主な機能

• 01同じPythonコードでバッチデータとストリーミングデータを処理できる統合エンジン。
• 02Kafka、PostgreSQL、Google Drive、SharePoint向けのコネクタと、Airbyte経由で接続できる300以上のソース。
• 03結合、ウィンドウ処理、ソートなどのステートフルな変換と、任意のPython関数への対応。
• 04計算状態を保存し、更新やクラッシュの後にパイプラインを再起動できる永続化機能。
• 05マルチスレッド、マルチプロセス、分散計算に対応したRustエンジン。
• 06インメモリのリアルタイムベクトルインデックスとLangChain、LlamaIndexとの連携機能を備えた、組み込みのLLMツール群。

ユースケース

• Kafkaやデータベースからデータを移動・変換するリアルタイムETL。
• ログ監視など、アラート機能を備えたイベント駆動型パイプライン。
• ドキュメントの変更に合わせてベクトルインデックスを更新するライブRAGアプリケーション。
• 既存のバッチデータジョブを書き直さずにストリーミングへ移行する。

クイックスタート

1. 1

   pipを使ってPyPIからPathwayをインストールします

   pip install -U pathway
2. 2

   サンプルコードをmain.pyとして保存し、Pathway runnerで実行します

   pathway spawn python main.py

使う前に知っておきたいこと

• !macOSとLinuxでのみ利用できます。それ以外のシステムでは仮想マシンが必要です。
• !Python 3.10以降が必要です。
• !メタデータではライセンスがNOASSERTIONと記載され、READMEのバッジはBSLを示しています。商用利用の前にライセンス条件を確認してください。
• !exactly-onceの整合性はエンタープライズ版でのみ利用できます。無料版ではat-least-onceが提供されます。

トピック

よくある質問

pathway とは？

Rustエンジンを基盤とし、ストリーム処理、リアルタイム分析、LLMパイプライン、RAGに対応するPython ETLフレームワーク。 Pathwayは、バッチデータとストリーミングデータの両方を処理するパイプラインを構築できるPython ETLフレームワークです。同じコードをローカル開発、CIテスト、バッチジョブ、ストリームの再生、ライブ処理に利用できるため、バッチ用とストリーミング用に別々のパイプラインを管理する必要はありません。

pathway は無料で使えますか？ライセンスは？

pathway は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

pathway は今もメンテナンスされていますか？

活発にメンテナンス中。pathway の最終コミットは 2026年10月20日 です。

pathway は何に使えますか？

Kafkaやデータベースからデータを移動・変換するリアルタイムETL。 ログ監視など、アラート機能を備えたイベント駆動型パイプライン。 ドキュメントの変更に合わせてベクトルインデックスを更新するライブRAGアプリケーション。 既存のバッチデータジョブを書き直さずにストリーミングへ移行する。

pathway のインストール方法は？

pipを使ってPyPIからPathwayをインストールします: pip install -U pathway サンプルコードをmain.pyとして保存し、Pathway runnerで実行します: pathway spawn python main.py

pathway はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/pathwaycom/pathway