ClickHouseを基盤とする単一バイナリのストリーミングSQLエンジン。Kafkaなどのデータソースを使ったストリーム処理、リアルタイム分析、パイプラインを実現します。
wgzhao/Addax
JSON形式のジョブ設定で30以上のRDBMS・NoSQLデータソース間のデータを移行できるオープンソースETLツール。AlibabaのDataXを引き継いで保守を継続。
- スター
- 1,451
- フォーク
- 342
- 未解決の Issue
- 0
- 最終コミット
- 21 時間前
これは何?
Addaxは、データベース、ビッグデータストア、ファイル間でデータを移行するバッチETLツールです。ジョブは、ソース用のリーダープラグインと移行先用のライタープラグインを指定するシンプルなJSONファイルで記述します。そのため、MySQLからHDFS、OracleからPostgreSQLへのデータ転送なども、独自のコードを書かずに実行できます。
Addaxは、2023年以降更新が止まっているAlibabaのDataXをフォークしたプロジェクトです。依存関係やCVEの更新、バグ修正を含むメンテナンスリリースを毎月提供し、元のアーキテクチャをベースに機能も追加しています。対応するデータソースには、MySQL、PostgreSQL、Oracle、SQL Server、ClickHouse、Hive、Kudu、MongoDB、Elasticsearch、Redis、S3、Kafka、Excelなどがあります。
AddaxはDockerイメージから実行するか、シェルスクリプトでインストールできます。また、JDK 17とMavenを使ってソースからビルドすることも可能です。使い始める際に役立つジョブファイルのサンプルも用意されています。
主な機能
- 01プラグインで追加できる拡張性を備え、30以上のSQL・NoSQLデータソースに対応。
- 02リーダーとライターを組み合わせたジョブ定義をJSONファイルで記述。
- 03Dockerイメージとインストールスクリプトを提供。
- 04バグ修正と依存関係の更新を中心に、毎月リリースを行う継続的なメンテナンス。
- 05元のDataXとのプラグイン比較を収録。
ユースケース
- MySQLやOracleのテーブルをHive、HDFS、Kuduのデータレイクへ移行・同期する。
- リレーショナルデータをExcelなどのファイルやS3などのオブジェクトストレージへエクスポートする。
- 従来のDataXジョブを、似たJSON設定を使える保守継続中のフォークへ移行する。
- ClickHouse、Doris、StarRocksなどの分析用ストアにデータをロードする。
クイックスタート
- 1
ビルド済みのDockerイメージをプルする
docker pull quay.io/wgzhao/addax:latest - 2
コンテナ内でテストジョブを実行する
docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json
使う前に知っておきたいこと
- 実行またはソースからビルドするにはJDK 17が必要です。
収録されている特集
トピック
よくある質問
- Addax とは?
- JSON形式のジョブ設定で30以上のRDBMS・NoSQLデータソース間のデータを移行できるオープンソースETLツール。AlibabaのDataXを引き継いで保守を継続。 Addaxは、データベース、ビッグデータストア、ファイル間でデータを移行するバッチETLツールです。ジョブは、ソース用のリーダープラグインと移行先用のライタープラグインを指定するシンプルなJSONファイルで記述します。そのため、MySQLからHDFS、OracleからPostgreSQLへのデータ転送なども、独自のコードを書かずに実行できます。
- Addax は無料で使えますか?ライセンスは?
- Addax は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- Addax は今もメンテナンスされていますか?
- 活発にメンテナンス中。Addax の最終コミットは 2026年11月5日 です。
- Addax は何に使えますか?
- MySQLやOracleのテーブルをHive、HDFS、Kuduのデータレイクへ移行・同期する。 リレーショナルデータをExcelなどのファイルやS3などのオブジェクトストレージへエクスポートする。 従来のDataXジョブを、似たJSON設定を使える保守継続中のフォークへ移行する。 ClickHouse、Doris、StarRocksなどの分析用ストアにデータをロードする。
- Addax のインストール方法は?
- ビルド済みのDockerイメージをプルする: docker pull quay.io/wgzhao/addax:latest コンテナ内でテストジョブを実行する: docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json
- Addax はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/wgzhao/Addax
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Trinoは、ビッグデータソースを横断して高速な分析クエリを実行する分散SQLクエリエンジンです。
SQL、Scala、Pythonなどのインタープリターを共有ドキュメントで使える、インタラクティブなデータ分析向けWebノートブック。
リアルタイムで分析レポートを生成する、オープンソースのカラム指向データベース管理システム。
160以上のコネクタを通じて、バッチ、ストリーミング、CDCモードで大量の構造化・非構造化データを同期する分散型データ統合ツールです。
40以上のデータベースに対応し、デスクトップ・Web・Docker・CLIで使える、無料のローカルファーストなAI支援データベースクライアント兼SQLワークスペース。