aws-samples/aws-glue-samples

어떤 프로젝트인가요?

핵심 기능

• 01데이터를 조인하고 정리하고 변환하는 Glue for Spark ETL 스크립트 샘플.
• 02Glue에서 Apache Hudi, Delta Lake, Apache Iceberg 오픈 테이블 포맷을 사용하는 예제.
• 03Glue Data Catalog 파티션 인덱스, 크롤러 및 Glue Data Quality를 다루는 튜토리얼.
• 04Hive 메타스토어 마이그레이션, 계정 간 리소스 동기화, 지원 종료 확인을 위한 유틸리티.
• 05Glue Spark 런타임용 커스텀 커넥터 개발 가이드와 로컬 검증 테스트.
• 06오래된 Glue 작업을 Glue 4.0 또는 Amazon EKS로 마이그레이션하는 데 도움이 되는 에이전트 스킬.

활용 사례

• PySpark로 AWS Glue ETL 작업을 작성하고 배포하는 방법을 학습합니다.
• Hive 메타스토어 또는 오래된 Glue 0.9/1.0 작업을 최신 Glue 버전으로 마이그레이션합니다.
• Iceberg, Delta 또는 S3 데이터 레이크에 CDC나 slowly changing dimension 파이프라인을 구축합니다.
• 커스텀 커넥터를 사용해 Glue가 기본 지원하지 않는 데이터 소스에 연결합니다.

사용 전 알아둘 점

• !샘플은 AWS Glue에서 실행되므로 AWS 계정이 필요하며, 서비스 사용량에 따라 요금이 부과됩니다.

토픽

자주 묻는 질문

aws-glue-samples은(는) 무엇인가요?

AWS Glue에서 ETL 작업과 데이터 통합 파이프라인을 구축하기 위한 코드 샘플, 튜토리얼 및 유틸리티입니다. 이 저장소에는 Amazon의 서버리스 데이터 통합 서비스인 AWS Glue의 샘플 코드, 튜토리얼 및 유틸리티가 모여 있습니다. AWS Glue는 분석과 머신러닝을 위해 데이터를 탐색하고, 준비하고, 이동하고, 통합하는 데 사용됩니다. Apache Spark용 Glue ETL 스크립트, Glue Studio 노트북, Glue Data Catalog, 크롤러, Glue Data Quality, Glue for Ray를 다룹니다.

aws-glue-samples은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

aws-glue-samples은(는) MIT-0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

aws-glue-samples은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. aws-glue-samples의 마지막 커밋은 2026년 11월 6일입니다.

aws-glue-samples은(는) 어디에 사용할 수 있나요?

PySpark로 AWS Glue ETL 작업을 작성하고 배포하는 방법을 학습합니다. Hive 메타스토어 또는 오래된 Glue 0.9/1.0 작업을 최신 Glue 버전으로 마이그레이션합니다. Iceberg, Delta 또는 S3 데이터 레이크에 CDC나 slowly changing dimension 파이프라인을 구축합니다. 커스텀 커넥터를 사용해 Glue가 기본 지원하지 않는 데이터 소스에 연결합니다.

aws-glue-samples은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/aws-samples/aws-glue-samples