Repolode
wgzhao

wgzhao/Addax

开源 ETL 工具,通过 JSON 任务配置在 30 多种关系型与 NoSQL 数据源之间同步数据,是阿里 DataX 的持续维护版本。

Star
1,450
Fork
342
未关闭 Issue
0
最近提交
昨天

这是什么?

Addax 是一款批量 ETL 工具,用于在数据库、大数据存储和文件之间迁移数据。任务通过简单的 JSON 文件描述,指定源端的 reader 插件和目标端的 writer 插件,例如 MySQL 同步到 HDFS、Oracle 同步到 PostgreSQL,无需编写自定义代码。

它是阿里 DataX 的分支。原版 DataX 自 2023 年起停止维护,Addax 在其基础上继续开发,每月发布维护版本,包含依赖与 CVE 更新及缺陷修复,并在原有架构上增加了功能。支持的数据源包括 MySQL、PostgreSQL、Oracle、SQL Server、ClickHouse、Hive、Kudu、MongoDB、Elasticsearch、Redis、S3、Kafka、Excel 等。

可通过 Docker 镜像运行、使用安装脚本安装,或用 JDK 17 和 Maven 从源码构建。项目提供了示例任务文件便于上手。

核心功能

  • 01支持 30 多种 SQL 与 NoSQL 数据源,并可通过插件扩展。
  • 02任务通过 JSON 文件定义,将 reader 与 writer 组合使用。
  • 03提供 Docker 镜像和安装脚本,便于快速部署。
  • 04持续维护,每月发布以修复缺陷和更新依赖为主的版本。
  • 05与原版 DataX 的插件差异有对比说明。

适用场景

  • 将 MySQL、Oracle 等数据库中的表同步到 Hive、HDFS 或 Kudu 数据湖。
  • 把关系型数据导出为 Excel 文件或写入 S3 等对象存储。
  • 将已有的 DataX 任务迁移到配置方式相近、仍在维护的分支。
  • 向 ClickHouse、Doris、StarRocks 等分析型数据库加载数据。

快速上手

  1. 1

    拉取预构建的 Docker 镜像

    docker pull quay.io/wgzhao/addax:latest
  2. 2

    在容器中运行测试任务

    docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json

使用前须知

  • 运行或从源码构建需要 JDK 17。

收录于专题

标签

常见问题

Addax 是什么?
开源 ETL 工具,通过 JSON 任务配置在 30 多种关系型与 NoSQL 数据源之间同步数据,是阿里 DataX 的持续维护版本。 Addax 是一款批量 ETL 工具,用于在数据库、大数据存储和文件之间迁移数据。任务通过简单的 JSON 文件描述,指定源端的 reader 插件和目标端的 writer 插件,例如 MySQL 同步到 HDFS、Oracle 同步到 PostgreSQL,无需编写自定义代码。
Addax 可以免费使用吗?用的什么许可证?
Addax 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
Addax 还在维护吗?
活跃维护中。Addax 最近一次提交是在 2026年11月6日。
Addax 适合用来做什么?
将 MySQL、Oracle 等数据库中的表同步到 Hive、HDFS 或 Kudu 数据湖。 把关系型数据导出为 Excel 文件或写入 S3 等对象存储。 将已有的 DataX 任务迁移到配置方式相近、仍在维护的分支。 向 ClickHouse、Doris、StarRocks 等分析型数据库加载数据。
Addax 怎么安装和运行?
拉取预构建的 Docker 镜像: docker pull quay.io/wgzhao/addax:latest 在容器中运行测试任务: docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json
在哪里获取 Addax?
源代码和安装说明在 GitHub 上:https://github.com/wgzhao/Addax

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目