SQL, Scala, Python 등 여러 인터프리터를 하나의 문서에서 사용하는 웹 기반 대화형 데이터 분석 노트북입니다.
apache/iceberg
Spark, Trino, Flink, Hive 같은 엔진이 같은 테이블을 안전하게 공유할 수 있도록 하는 대규모 분석 데이터셋용 고성능 오픈 테이블 포맷입니다.
- 스타
- 9,412
- 포크
- 3,665
- 열린 이슈
- 909
- 마지막 커밋
- 어제
어떤 프로젝트인가요?
Apache Iceberg는 대규모 분석 데이터셋을 위한 테이블 포맷입니다. 데이터 레이크에 SQL 테이블 수준의 안정성과 간편함을 제공해 여러 처리 엔진이 데이터를 손상시키지 않고 같은 테이블을 동시에 사용할 수 있게 합니다.
이 저장소에는 Iceberg 사양의 레퍼런스 구현인 핵심 Java 라이브러리가 들어 있습니다. 공개 API, Avro 지원을 포함한 핵심 구현, 선택적으로 사용할 수 있는 Parquet·ORC·Arrow 모듈, Hive metastore 기반 카탈로그, JVM 애플리케이션에서 테이블을 직접 읽고 쓸 수 있는 데이터 모듈로 구성됩니다. Spark, Flink, Hive용 엔진 통합도 포함되어 있습니다.
Go, Python(PyIceberg), Rust, C++를 비롯한 다른 언어 구현은 별도의 저장소에서 관리합니다. 프로젝트는 Java 17 또는 21에서 Gradle로 빌드합니다.
핵심 기능
- 01데이터 레이크 테이블에 SQL 테이블과 같은 안정성을 제공합니다.
- 02Spark, Flink, Hive 같은 여러 엔진이 같은 테이블을 동시에 사용할 수 있습니다.
- 03선택형 모듈을 통해 Avro, Parquet, ORC 데이터 파일을 지원합니다.
- 04Hive metastore 기반 테이블 구현을 포함합니다.
- 05JVM 애플리케이션에서 테이블을 읽고 쓸 수 있는 Java API를 제공합니다.
활용 사례
- Spark와 Trino가 같은 분석 테이블을 조회하는 데이터 레이크 구축
- Flink로 분석 테이블에 데이터를 스트리밍하면서 배치 작업에서 해당 테이블 읽기
- Hive 기반 스택의 Parquet 또는 ORC 데이터셋에 테이블 수준의 안정성 추가
빠른 시작
- 1
저장소를 클론합니다
- 2
Gradle로 프로젝트를 빌드하고 테스트를 실행합니다(Java 17 또는 21 필요)
./gradlew build
사용 전 알아둘 점
- 빌드 및 테스트를 실행하려면 Java 17 또는 21과 테스트 스위트용 Docker가 필요합니다.
- 이 저장소는 Java 라이브러리입니다. 독립 실행형 데이터베이스나 최종 사용자용 애플리케이션이 아닙니다.
토픽
자주 묻는 질문
- iceberg은(는) 무엇인가요?
- Spark, Trino, Flink, Hive 같은 엔진이 같은 테이블을 안전하게 공유할 수 있도록 하는 대규모 분석 데이터셋용 고성능 오픈 테이블 포맷입니다. Apache Iceberg는 대규모 분석 데이터셋을 위한 테이블 포맷입니다. 데이터 레이크에 SQL 테이블 수준의 안정성과 간편함을 제공해 여러 처리 엔진이 데이터를 손상시키지 않고 같은 테이블을 동시에 사용할 수 있게 합니다.
- iceberg은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- iceberg은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- iceberg은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. iceberg의 마지막 커밋은 2026년 11월 6일입니다.
- iceberg은(는) 어디에 사용할 수 있나요?
- Spark와 Trino가 같은 분석 테이블을 조회하는 데이터 레이크 구축 Flink로 분석 테이블에 데이터를 스트리밍하면서 배치 작업에서 해당 테이블 읽기 Hive 기반 스택의 Parquet 또는 ORC 데이터셋에 테이블 수준의 안정성 추가
- iceberg는 어떻게 설치하나요?
- 저장소를 클론합니다 Gradle로 프로젝트를 빌드하고 테스트를 실행합니다(Java 17 또는 21 필요): ./gradlew build
- iceberg은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/apache/iceberg
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Apache Flink 및 Spark 작업을 실행하고 관리하는 스트리밍 애플리케이션 개발 프레임워크이자 클라우드 네이티브 제어 플레인입니다.
Trino는 빅데이터 소스 전반에서 빠른 분석 쿼리를 실행하는 분산 SQL 쿼리 엔진입니다.
데이터 레이크하우스와 자체 스토리지에서 초 단위 미만 분석을 지원하고 MySQL 프로토콜을 사용하는 오픈소스 MPP 쿼리 엔진입니다.
AWS Glue에서 ETL 작업과 데이터 통합 파이프라인을 구축하기 위한 코드 샘플, 튜토리얼 및 유틸리티입니다.