基于 ClickHouse 的单二进制流式 SQL 引擎,用于 Kafka 等数据源上的流处理与实时分析。
wgzhao/Addax
开源 ETL 工具,通过 JSON 任务配置在 30 多种关系型与 NoSQL 数据源之间同步数据,是阿里 DataX 的持续维护版本。
- Star
- 1,450
- Fork
- 342
- 未关闭 Issue
- 0
- 最近提交
- 昨天
这是什么?
Addax 是一款批量 ETL 工具,用于在数据库、大数据存储和文件之间迁移数据。任务通过简单的 JSON 文件描述,指定源端的 reader 插件和目标端的 writer 插件,例如 MySQL 同步到 HDFS、Oracle 同步到 PostgreSQL,无需编写自定义代码。
它是阿里 DataX 的分支。原版 DataX 自 2023 年起停止维护,Addax 在其基础上继续开发,每月发布维护版本,包含依赖与 CVE 更新及缺陷修复,并在原有架构上增加了功能。支持的数据源包括 MySQL、PostgreSQL、Oracle、SQL Server、ClickHouse、Hive、Kudu、MongoDB、Elasticsearch、Redis、S3、Kafka、Excel 等。
可通过 Docker 镜像运行、使用安装脚本安装,或用 JDK 17 和 Maven 从源码构建。项目提供了示例任务文件便于上手。
核心功能
- 01支持 30 多种 SQL 与 NoSQL 数据源,并可通过插件扩展。
- 02任务通过 JSON 文件定义,将 reader 与 writer 组合使用。
- 03提供 Docker 镜像和安装脚本,便于快速部署。
- 04持续维护,每月发布以修复缺陷和更新依赖为主的版本。
- 05与原版 DataX 的插件差异有对比说明。
适用场景
- 将 MySQL、Oracle 等数据库中的表同步到 Hive、HDFS 或 Kudu 数据湖。
- 把关系型数据导出为 Excel 文件或写入 S3 等对象存储。
- 将已有的 DataX 任务迁移到配置方式相近、仍在维护的分支。
- 向 ClickHouse、Doris、StarRocks 等分析型数据库加载数据。
快速上手
- 1
拉取预构建的 Docker 镜像
docker pull quay.io/wgzhao/addax:latest - 2
在容器中运行测试任务
docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json
使用前须知
- 运行或从源码构建需要 JDK 17。
收录于专题
标签
常见问题
- Addax 是什么?
- 开源 ETL 工具,通过 JSON 任务配置在 30 多种关系型与 NoSQL 数据源之间同步数据,是阿里 DataX 的持续维护版本。 Addax 是一款批量 ETL 工具,用于在数据库、大数据存储和文件之间迁移数据。任务通过简单的 JSON 文件描述,指定源端的 reader 插件和目标端的 writer 插件,例如 MySQL 同步到 HDFS、Oracle 同步到 PostgreSQL,无需编写自定义代码。
- Addax 可以免费使用吗?用的什么许可证?
- Addax 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- Addax 还在维护吗?
- 活跃维护中。Addax 最近一次提交是在 2026年11月6日。
- Addax 适合用来做什么?
- 将 MySQL、Oracle 等数据库中的表同步到 Hive、HDFS 或 Kudu 数据湖。 把关系型数据导出为 Excel 文件或写入 S3 等对象存储。 将已有的 DataX 任务迁移到配置方式相近、仍在维护的分支。 向 ClickHouse、Doris、StarRocks 等分析型数据库加载数据。
- Addax 怎么安装和运行?
- 拉取预构建的 Docker 镜像: docker pull quay.io/wgzhao/addax:latest 在容器中运行测试任务: docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json
- 在哪里获取 Addax?
- 源代码和安装说明在 GitHub 上:https://github.com/wgzhao/Addax
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
2281+4 本周112C++Apache-2.0维护活跃更新于 8天前
Trino 是一个分布式 SQL 查询引擎,用于在大数据源之间执行分析型查询。
1.3万+91 本周3856JavaApache-2.0维护活跃更新于 19小时前
基于 Web 的交互式数据分析笔记本,可在同一文档中混合使用 SQL、Scala、Python 等解释器。
6669+2 本周2833JavaApache-2.0维护活跃更新于 3天前
开源列式数据库管理系统,用于实时生成分析型数据报表。
5.1万+105 本周9233C++Apache-2.0更新于 17小时前
分布式数据集成工具,通过 160 多种连接器实现批处理、流式与 CDC 方式的海量数据同步。
9791+15 本周2461JavaApache-2.0更新于 19小时前
免费、本地优先的 AI 辅助数据库客户端与 SQL 工作台,支持 40 多种数据库。
2.8万+6 本周3046JavaOther维护活跃更新于 5天前