Kafka 등 다양한 소스의 스트림 처리, 실시간 분석 및 데이터 파이프라인을 위한 ClickHouse 기반 단일 바이너리 스트리밍 SQL 엔진입니다.
wgzhao/Addax
JSON 작업 설정으로 30개 이상의 RDBMS 및 NoSQL 소스 간 데이터를 옮기는 오픈소스 ETL 도구로, Alibaba DataX의 유지 관리 후속 프로젝트입니다.
- 스타
- 1,451
- 포크
- 342
- 열린 이슈
- 0
- 마지막 커밋
- 14시간 전
어떤 프로젝트인가요?
Addax는 데이터베이스, 빅데이터 저장소, 파일 간 데이터를 옮기는 배치 ETL 도구입니다. 작업은 소스용 reader 플러그인과 대상용 writer 플러그인을 지정하는 간단한 JSON 파일로 정의하므로, MySQL에서 HDFS로 또는 Oracle에서 PostgreSQL로 데이터를 옮길 때 별도의 코드를 작성할 필요가 없습니다.
Addax는 2023년 이후 개발이 중단된 Alibaba DataX의 포크입니다. 매월 의존성 업데이트와 CVE 수정, 버그 수정을 포함한 유지 관리 릴리스를 제공하며, 기존 아키텍처에 기능을 추가해 프로젝트를 이어 가고 있습니다. 지원하는 소스에는 MySQL, PostgreSQL, Oracle, SQL Server, ClickHouse, Hive, Kudu, MongoDB, Elasticsearch, Redis, S3, Kafka, Excel 등이 있습니다.
Addax는 Docker 이미지로 실행하거나 셸 스크립트로 설치할 수 있으며, JDK 17과 Maven으로 소스에서 빌드할 수도 있습니다. 시작하는 데 도움이 되는 작업 파일 예제도 제공됩니다.
핵심 기능
- 01플러그인으로 확장할 수 있으며, 30개 이상의 SQL 및 NoSQL 데이터 소스를 지원합니다.
- 02reader와 writer를 짝지어 작업을 정의하는 JSON 파일을 사용합니다.
- 03Docker 이미지와 설치 스크립트를 제공합니다.
- 04버그 수정과 의존성 업데이트에 중점을 둔 릴리스를 매월 제공하며 활발히 유지 관리됩니다.
- 05기존 DataX와 플러그인을 비교한 자료를 포함합니다.
활용 사례
- MySQL 또는 Oracle의 테이블을 Hive, HDFS 또는 Kudu 데이터 레이크로 마이그레이션하거나 동기화합니다.
- 관계형 데이터베이스의 데이터를 Excel 같은 파일이나 S3 같은 객체 스토리지로 내보냅니다.
- 기존 DataX 작업을 비슷한 JSON 설정을 사용하는 유지 관리 포크로 옮깁니다.
- ClickHouse, Doris 또는 StarRocks 같은 분석용 저장소에 데이터를 적재합니다.
빠른 시작
- 1
미리 빌드된 Docker 이미지를 풀합니다
docker pull quay.io/wgzhao/addax:latest - 2
컨테이너에서 테스트 작업을 실행합니다
docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json
사용 전 알아둘 점
- 실행하거나 소스에서 빌드하려면 JDK 17이 필요합니다.
포함된 컬렉션
토픽
자주 묻는 질문
- Addax은(는) 무엇인가요?
- JSON 작업 설정으로 30개 이상의 RDBMS 및 NoSQL 소스 간 데이터를 옮기는 오픈소스 ETL 도구로, Alibaba DataX의 유지 관리 후속 프로젝트입니다. Addax는 데이터베이스, 빅데이터 저장소, 파일 간 데이터를 옮기는 배치 ETL 도구입니다. 작업은 소스용 reader 플러그인과 대상용 writer 플러그인을 지정하는 간단한 JSON 파일로 정의하므로, MySQL에서 HDFS로 또는 Oracle에서 PostgreSQL로 데이터를 옮길 때 별도의 코드를 작성할 필요가 없습니다.
- Addax은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- Addax은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- Addax은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. Addax의 마지막 커밋은 2026년 11월 5일입니다.
- Addax은(는) 어디에 사용할 수 있나요?
- MySQL 또는 Oracle의 테이블을 Hive, HDFS 또는 Kudu 데이터 레이크로 마이그레이션하거나 동기화합니다. 관계형 데이터베이스의 데이터를 Excel 같은 파일이나 S3 같은 객체 스토리지로 내보냅니다. 기존 DataX 작업을 비슷한 JSON 설정을 사용하는 유지 관리 포크로 옮깁니다. ClickHouse, Doris 또는 StarRocks 같은 분석용 저장소에 데이터를 적재합니다.
- Addax는 어떻게 설치하나요?
- 미리 빌드된 Docker 이미지를 풀합니다: docker pull quay.io/wgzhao/addax:latest 컨테이너에서 테스트 작업을 실행합니다: docker run -ti --rm --name addax quay.io/wgzhao/addax:latest /opt/addax/bin/addax.sh /opt/addax/job/job.json
- Addax은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/wgzhao/Addax
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Trino는 빅데이터 소스 전반에서 빠른 분석 쿼리를 실행하는 분산 SQL 쿼리 엔진입니다.
SQL, Scala, Python 등 여러 인터프리터를 하나의 문서에서 사용하는 웹 기반 대화형 데이터 분석 노트북입니다.
실시간 분석 보고서 생성을 위한 오픈소스 컬럼형 데이터베이스 관리 시스템입니다.
160개 이상의 커넥터를 통해 배치, 스트리밍, CDC 모드로 대량의 정형·비정형 데이터를 동기화하는 분산 데이터 통합 도구입니다.
40개 이상의 데이터베이스를 지원하는 무료 로컬 우선 AI 보조 데이터베이스 클라이언트 및 SQL 작업 공간으로, 데스크톱·웹·Docker·CLI에서 사용할 수 있습니다.