Repolode
wgzhao

wgzhao/Addax

Open-source ETL-инструмент для переноса данных между более чем 30 источниками RDBMS и NoSQL с помощью JSON-конфигураций заданий; активно развиваемый преемник DataX от Alibaba.

Звёзды
1,450
Форки
342
Открытые issues
0
Последний коммит
позавчера

Что это?

Addax — пакетный ETL-инструмент для переноса данных между базами данных, хранилищами больших данных и файлами. Задания описываются в простых JSON-файлах, где указываются плагин reader для источника и плагин writer для целевого хранилища. Поэтому для переноса данных, например из MySQL в HDFS или из Oracle в PostgreSQL, не нужно писать собственный код.

Это форк DataX от Alibaba, разработка которого заморожена с 2023 года. Addax продолжает развитие проекта: ежемесячные релизы включают обновления зависимостей и исправления CVE и ошибок, а также добавляют новые возможности поверх исходной архитектуры. Среди поддерживаемых источников — MySQL, PostgreSQL, Oracle, SQL Server, ClickHouse, Hive, Kudu, MongoDB, Elasticsearch, Redis, S3, Kafka и Excel.

Addax можно запускать из Docker-образа, установить с помощью shell-скрипта или собрать из исходного кода с JDK 17 и Maven. Для быстрого старта доступны примеры файлов заданий.

Ключевые возможности

  • 01Поддерживает более 30 источников данных SQL и NoSQL; при необходимости можно добавлять новые через плагины.
  • 02Задания описываются в JSON-файлах, где reader сочетается с writer.
  • 03Доступны Docker-образы и скрипт установки.
  • 04Активно развивается: ежемесячные релизы посвящены исправлению ошибок и обновлению зависимостей.
  • 05Включает сравнение плагинов с оригинальным DataX.

Сценарии использования

  • Перенос или синхронизация таблиц из MySQL или Oracle в озеро данных на базе Hive, HDFS или Kudu.
  • Экспорт реляционных данных в файлы, например Excel, или в объектное хранилище вроде S3.
  • Перенос заданий с устаревшего DataX на поддерживаемый форк с похожей JSON-конфигурацией.
  • Загрузка данных в аналитические хранилища, например ClickHouse, Doris или StarRocks.

Быстрый старт

  1. 1

    Загрузите готовый образ Docker

    docker pull quay.io/wgzhao/addax:latest
  2. 2

    Запустите тестовую задачу в контейнере

    docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json

Что важно знать

  • Для запуска или сборки из исходного кода требуется JDK 17.

В подборках

Темы

Частые вопросы

Что такое Addax?
Open-source ETL-инструмент для переноса данных между более чем 30 источниками RDBMS и NoSQL с помощью JSON-конфигураций заданий; активно развиваемый преемник DataX от Alibaba. Addax — пакетный ETL-инструмент для переноса данных между базами данных, хранилищами больших данных и файлами. Задания описываются в простых JSON-файлах, где указываются плагин reader для источника и плагин writer для целевого хранилища. Поэтому для переноса данных, например из MySQL в HDFS или из Oracle в PostgreSQL, не нужно писать собственный код.
Addax можно использовать бесплатно? Какая у него лицензия?
Addax распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
Addax всё ещё поддерживается?
Активно поддерживается. Последний коммит в Addax — 6 нояб. 2026 г..
Для чего можно использовать Addax?
Перенос или синхронизация таблиц из MySQL или Oracle в озеро данных на базе Hive, HDFS или Kudu. Экспорт реляционных данных в файлы, например Excel, или в объектное хранилище вроде S3. Перенос заданий с устаревшего DataX на поддерживаемый форк с похожей JSON-конфигурацией. Загрузка данных в аналитические хранилища, например ClickHouse, Doris или StarRocks.
Как установить Addax?
Загрузите готовый образ Docker: docker pull quay.io/wgzhao/addax:latest Запустите тестовую задачу в контейнере: docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json
Где скачать Addax?
Исходный код и инструкции по установке — на GitHub: https://github.com/wgzhao/Addax

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Однобинарный движок потокового SQL на базе ClickHouse для обработки потоков, аналитики в реальном времени и конвейеров с Kafka и другими источниками.

2,3 тыс.+2 за неделю112C++Apache-2.0Активно поддерживаетсяОбновлён 9 дней назад

Распределённый инструмент интеграции данных для синхронизации больших объёмов структурированных и неструктурированных данных через 160+ коннекторов в пакетном режиме, потоковой передаче и режиме CDC.

9,8 тыс.+18 за неделю2,5 тыс.JavaApache-2.0Обновлён 8 часов назад