Repolode
wgzhao

wgzhao/Addax

JSON形式のジョブ設定で30以上のRDBMS・NoSQLデータソース間のデータを移行できるオープンソースETLツール。AlibabaのDataXを引き継いで保守を継続。

スター
1,451
フォーク
342
未解決の Issue
0
最終コミット
21 時間前

これは何?

Addaxは、データベース、ビッグデータストア、ファイル間でデータを移行するバッチETLツールです。ジョブは、ソース用のリーダープラグインと移行先用のライタープラグインを指定するシンプルなJSONファイルで記述します。そのため、MySQLからHDFS、OracleからPostgreSQLへのデータ転送なども、独自のコードを書かずに実行できます。

Addaxは、2023年以降更新が止まっているAlibabaのDataXをフォークしたプロジェクトです。依存関係やCVEの更新、バグ修正を含むメンテナンスリリースを毎月提供し、元のアーキテクチャをベースに機能も追加しています。対応するデータソースには、MySQL、PostgreSQL、Oracle、SQL Server、ClickHouse、Hive、Kudu、MongoDB、Elasticsearch、Redis、S3、Kafka、Excelなどがあります。

AddaxはDockerイメージから実行するか、シェルスクリプトでインストールできます。また、JDK 17とMavenを使ってソースからビルドすることも可能です。使い始める際に役立つジョブファイルのサンプルも用意されています。

主な機能

  • 01プラグインで追加できる拡張性を備え、30以上のSQL・NoSQLデータソースに対応。
  • 02リーダーとライターを組み合わせたジョブ定義をJSONファイルで記述。
  • 03Dockerイメージとインストールスクリプトを提供。
  • 04バグ修正と依存関係の更新を中心に、毎月リリースを行う継続的なメンテナンス。
  • 05元のDataXとのプラグイン比較を収録。

ユースケース

  • MySQLやOracleのテーブルをHive、HDFS、Kuduのデータレイクへ移行・同期する。
  • リレーショナルデータをExcelなどのファイルやS3などのオブジェクトストレージへエクスポートする。
  • 従来のDataXジョブを、似たJSON設定を使える保守継続中のフォークへ移行する。
  • ClickHouse、Doris、StarRocksなどの分析用ストアにデータをロードする。

クイックスタート

  1. 1

    ビルド済みのDockerイメージをプルする

    docker pull quay.io/wgzhao/addax:latest
  2. 2

    コンテナ内でテストジョブを実行する

    docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json

使う前に知っておきたいこと

  • 実行またはソースからビルドするにはJDK 17が必要です。

収録されている特集

トピック

よくある質問

Addax とは?
JSON形式のジョブ設定で30以上のRDBMS・NoSQLデータソース間のデータを移行できるオープンソースETLツール。AlibabaのDataXを引き継いで保守を継続。 Addaxは、データベース、ビッグデータストア、ファイル間でデータを移行するバッチETLツールです。ジョブは、ソース用のリーダープラグインと移行先用のライタープラグインを指定するシンプルなJSONファイルで記述します。そのため、MySQLからHDFS、OracleからPostgreSQLへのデータ転送なども、独自のコードを書かずに実行できます。
Addax は無料で使えますか?ライセンスは?
Addax は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Addax は今もメンテナンスされていますか?
活発にメンテナンス中。Addax の最終コミットは 2026年11月5日 です。
Addax は何に使えますか?
MySQLやOracleのテーブルをHive、HDFS、Kuduのデータレイクへ移行・同期する。 リレーショナルデータをExcelなどのファイルやS3などのオブジェクトストレージへエクスポートする。 従来のDataXジョブを、似たJSON設定を使える保守継続中のフォークへ移行する。 ClickHouse、Doris、StarRocksなどの分析用ストアにデータをロードする。
Addax のインストール方法は?
ビルド済みのDockerイメージをプルする: docker pull quay.io/wgzhao/addax:latest コンテナ内でテストジョブを実行する: docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json
Addax はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/wgzhao/Addax

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト