Однобинарный движок потокового SQL на базе ClickHouse для обработки потоков, аналитики в реальном времени и конвейеров с Kafka и другими источниками.
wgzhao/Addax
Open-source ETL-инструмент для переноса данных между более чем 30 источниками RDBMS и NoSQL с помощью JSON-конфигураций заданий; активно развиваемый преемник DataX от Alibaba.
- Звёзды
- 1,450
- Форки
- 342
- Открытые issues
- 0
- Последний коммит
- позавчера
Что это?
Addax — пакетный ETL-инструмент для переноса данных между базами данных, хранилищами больших данных и файлами. Задания описываются в простых JSON-файлах, где указываются плагин reader для источника и плагин writer для целевого хранилища. Поэтому для переноса данных, например из MySQL в HDFS или из Oracle в PostgreSQL, не нужно писать собственный код.
Это форк DataX от Alibaba, разработка которого заморожена с 2023 года. Addax продолжает развитие проекта: ежемесячные релизы включают обновления зависимостей и исправления CVE и ошибок, а также добавляют новые возможности поверх исходной архитектуры. Среди поддерживаемых источников — MySQL, PostgreSQL, Oracle, SQL Server, ClickHouse, Hive, Kudu, MongoDB, Elasticsearch, Redis, S3, Kafka и Excel.
Addax можно запускать из Docker-образа, установить с помощью shell-скрипта или собрать из исходного кода с JDK 17 и Maven. Для быстрого старта доступны примеры файлов заданий.
Ключевые возможности
- 01Поддерживает более 30 источников данных SQL и NoSQL; при необходимости можно добавлять новые через плагины.
- 02Задания описываются в JSON-файлах, где reader сочетается с writer.
- 03Доступны Docker-образы и скрипт установки.
- 04Активно развивается: ежемесячные релизы посвящены исправлению ошибок и обновлению зависимостей.
- 05Включает сравнение плагинов с оригинальным DataX.
Сценарии использования
- Перенос или синхронизация таблиц из MySQL или Oracle в озеро данных на базе Hive, HDFS или Kudu.
- Экспорт реляционных данных в файлы, например Excel, или в объектное хранилище вроде S3.
- Перенос заданий с устаревшего DataX на поддерживаемый форк с похожей JSON-конфигурацией.
- Загрузка данных в аналитические хранилища, например ClickHouse, Doris или StarRocks.
Быстрый старт
- 1
Загрузите готовый образ Docker
docker pull quay.io/wgzhao/addax:latest - 2
Запустите тестовую задачу в контейнере
docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json
Что важно знать
- Для запуска или сборки из исходного кода требуется JDK 17.
В подборках
Темы
Частые вопросы
- Что такое Addax?
- Open-source ETL-инструмент для переноса данных между более чем 30 источниками RDBMS и NoSQL с помощью JSON-конфигураций заданий; активно развиваемый преемник DataX от Alibaba. Addax — пакетный ETL-инструмент для переноса данных между базами данных, хранилищами больших данных и файлами. Задания описываются в простых JSON-файлах, где указываются плагин reader для источника и плагин writer для целевого хранилища. Поэтому для переноса данных, например из MySQL в HDFS или из Oracle в PostgreSQL, не нужно писать собственный код.
- Addax можно использовать бесплатно? Какая у него лицензия?
- Addax распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- Addax всё ещё поддерживается?
- Активно поддерживается. Последний коммит в Addax — 6 нояб. 2026 г..
- Для чего можно использовать Addax?
- Перенос или синхронизация таблиц из MySQL или Oracle в озеро данных на базе Hive, HDFS или Kudu. Экспорт реляционных данных в файлы, например Excel, или в объектное хранилище вроде S3. Перенос заданий с устаревшего DataX на поддерживаемый форк с похожей JSON-конфигурацией. Загрузка данных в аналитические хранилища, например ClickHouse, Doris или StarRocks.
- Как установить Addax?
- Загрузите готовый образ Docker: docker pull quay.io/wgzhao/addax:latest Запустите тестовую задачу в контейнере: docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json
- Где скачать Addax?
- Исходный код и инструкции по установке — на GitHub: https://github.com/wgzhao/Addax
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Trino — распределённый SQL-движок для быстрых аналитических запросов к большим объёмам данных из разных источников.
Веб-ноутбук для интерактивной аналитики данных: SQL, Scala, Python и другие интерпретаторы работают в общих документах.
Open-source колоночная СУБД для формирования аналитических отчётов по данным в реальном времени.
Распределённый инструмент интеграции данных для синхронизации больших объёмов структурированных и неструктурированных данных через 160+ коннекторов в пакетном режиме, потоковой передаче и режиме CDC.
Бесплатный локальный клиент для работы с базами данных и SQL-среда с поддержкой ИИ: более 40 СУБД, desktop, web, Docker и CLI.