aws-samples/aws-glue-samples

这是什么？

核心功能

• 01提供 Glue for Spark 的 ETL 脚本示例，涵盖数据关联、清洗和格式转换。
• 02包含在 Glue 上使用 Apache Hudi、Delta Lake 和 Apache Iceberg 的示例。
• 03提供 Glue Data Catalog 分区索引、爬虫和 Glue Data Quality 的教程。
• 04提供 Hive metastore 迁移、跨账户资源同步和版本弃用检查等工具。
• 05提供自定义连接器开发指南和 Glue Spark 运行时的本地验证测试。
• 06提供辅助迁移的 Agent Skills，可将旧版 Glue 作业升级到 4.0 或迁移到 Amazon EKS。

适用场景

• 学习如何使用 PySpark 编写并部署 AWS Glue ETL 作业。
• 将 Hive metastore 或旧版 Glue 0.9/1.0 作业迁移到当前 Glue 版本。
• 搭建面向 Iceberg、Delta 或 S3 数据湖的 CDC 或缓慢变化维度管道。
• 通过自定义连接器接入 Glue 原生不支持的数据源。

使用前须知

• !这些示例运行在 AWS Glue 上，因此需要 AWS 账户，且该服务按使用量计费。

标签

常见问题

aws-glue-samples 是什么？

AWS Glue 数据集成的代码示例、教程与实用工具合集，涵盖 ETL 作业与数据管道。 本仓库收集了 AWS Glue 的示例代码、教程和实用工具。AWS Glue 是一项无服务器的数据集成服务，用于为分析和机器学习发现、准备、迁移和整合多源数据。内容涵盖基于 Apache Spark 的 ETL 脚本、Glue Studio notebook、Glue Data Catalog、爬虫（crawler）、Glue Data Quality 以及 Glue for Ray。

aws-glue-samples 可以免费使用吗？用的什么许可证？

aws-glue-samples 以 MIT-0 许可证开源。用于商业产品前，请先确认许可证条款。

aws-glue-samples 还在维护吗？

活跃维护中。aws-glue-samples 最近一次提交是在 2026年11月6日。

aws-glue-samples 适合用来做什么？

学习如何使用 PySpark 编写并部署 AWS Glue ETL 作业。 将 Hive metastore 或旧版 Glue 0.9/1.0 作业迁移到当前 Glue 版本。 搭建面向 Iceberg、Delta 或 S3 数据湖的 CDC 或缓慢变化维度管道。 通过自定义连接器接入 Glue 原生不支持的数据源。

在哪里获取 aws-glue-samples？

源代码和安装说明在 GitHub 上：https://github.com/aws-samples/aws-glue-samples