aws-samples/aws-glue-samples

これは何？

主な機能

• 01データの結合、クリーニング、変換を行うGlue for SparkのETLスクリプト例。
• 02GlueでApache Hudi、Delta Lake、Apache Icebergなどのオープンテーブル形式を使う例。
• 03Glue Data Catalogのパーティションインデックス、クローラー、Glue Data Qualityを扱うチュートリアル。
• 04Hive metastoreの移行、アカウント間のリソース同期、非推奨チェック用のユーティリティ。
• 05Glue Sparkランタイム向けのカスタムコネクタ開発ガイドとローカル検証テスト。
• 06古いGlueジョブのGlue 4.0またはAmazon EKSへの移行を支援するエージェントスキル。

ユースケース

• PySparkを使ったAWS Glue ETLジョブの作成とデプロイ方法を学ぶ。
• Hive metastoreや古いGlue 0.9／1.0ジョブを、現行のGlueバージョンに移行する。
• Iceberg、Delta、S3データレイクにデータを取り込むCDCまたは緩やかに変化するディメンションのパイプラインを構築する。
• カスタムコネクタを使って、Glueが標準でサポートしていないデータソースに接続する。

使う前に知っておきたいこと

• !サンプルは AWS Glue で実行されるため、AWS アカウントが必要です。また、サービスの利用料金が発生します。

トピック

よくある質問

aws-glue-samples とは？

AWS GlueでETLジョブやデータ統合パイプラインを構築するためのコードサンプル、チュートリアル、ユーティリティ。 このリポジトリには、分析や機械学習向けのデータを検出、準備、移動、統合する、Amazonのサーバーレスデータ統合サービスAWS Glueのサンプルコード、チュートリアル、ユーティリティが集められています。Glue for Apache SparkのETLスクリプト、Glue Studioのノートブック、Glue Data Catalog、クローラー、Glue Data Quality、Glue for Rayを扱っています。

aws-glue-samples は無料で使えますか？ライセンスは？

aws-glue-samples は MIT-0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

aws-glue-samples は今もメンテナンスされていますか？

活発にメンテナンス中。aws-glue-samples の最終コミットは 2026年11月6日 です。

aws-glue-samples は何に使えますか？

PySparkを使ったAWS Glue ETLジョブの作成とデプロイ方法を学ぶ。 Hive metastoreや古いGlue 0.9／1.0ジョブを、現行のGlueバージョンに移行する。 Iceberg、Delta、S3データレイクにデータを取り込むCDCまたは緩やかに変化するディメンションのパイプラインを構築する。 カスタムコネクタを使って、Glueが標準でサポートしていないデータソースに接続する。

aws-glue-samples はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/aws-samples/aws-glue-samples