Repolode
Предложить
aws-samples

aws-samples/aws-glue-samples

Примеры кода, руководства и утилиты для создания ETL-заданий и интеграционных конвейеров данных на AWS Glue.

Открыть на GitHub
Звёзды
1,540
Форки
835
Открытые issues
48
Последний коммит
14 часов назад

Что это?

В этом репозитории собраны примеры кода, руководства и утилиты для AWS Glue — бессерверного сервиса Amazon для интеграции данных, который помогает находить, подготавливать, перемещать и объединять данные для аналитики и машинного обучения. Здесь рассматриваются ETL-скрипты Glue для Apache Spark, ноутбуки Glue Studio, Glue Data Catalog, crawlers, Glue Data Quality и Glue for Ray.

Помимо примеров ETL, репозиторий содержит утилиты для работы с инфраструктурой: инструмент миграции Hive metastore, утилиту синхронизации ресурсов Glue между аккаунтами или регионами, проверку устаревших версий заданий Glue и Dockerfile для Spark history server. Также есть примеры разработки custom connectors, подключающих сторонние хранилища данных к среде выполнения Glue Spark, и локальные тесты для их проверки.

Кроме того, в репозитории есть agent skills в формате Markdown для AI-ассистентов программирования. Они помогают обновлять старые задания Glue, а также переносить dev endpoints и задания Glue for Ray в Amazon EKS. Код распространяется по лицензии MIT-0.

Ключевые возможности

  • 01Примеры ETL-скриптов Glue for Spark для объединения, очистки и преобразования данных.
  • 02Примеры использования с Glue открытых форматов таблиц Apache Hudi, Delta Lake и Apache Iceberg.
  • 03Руководства по индексам разделов Glue Data Catalog, crawlers и Glue Data Quality.
  • 04Утилиты для миграции Hive metastore, синхронизации ресурсов между аккаунтами и проверки устаревших версий.
  • 05Руководства по разработке custom connectors и локальные тесты для среды выполнения Glue Spark.
  • 06Agent skills для переноса старых заданий Glue на Glue 4.0 или в Amazon EKS.

Сценарии использования

  • Изучение создания и развертывания ETL-заданий AWS Glue с помощью PySpark.
  • Миграция Hive metastore или старых заданий Glue 0.9/1.0 на актуальные версии Glue.
  • Создание конвейеров CDC или медленно меняющихся измерений с загрузкой данных в Iceberg, Delta или озёра данных на S3.
  • Подключение источника данных, который Glue не поддерживает из коробки, с помощью custom connector.

Что важно знать

  • Примеры запускаются в AWS Glue, поэтому вам понадобится аккаунт AWS. Стоимость услуги зависит от объёма использования.

Темы

#aws-glue#etl#spark#data-integration#data-lake#apache-iceberg#serverless#aws

Частые вопросы

Что такое aws-glue-samples?
Примеры кода, руководства и утилиты для создания ETL-заданий и интеграционных конвейеров данных на AWS Glue. В этом репозитории собраны примеры кода, руководства и утилиты для AWS Glue — бессерверного сервиса Amazon для интеграции данных, который помогает находить, подготавливать, перемещать и объединять данные для аналитики и машинного обучения. Здесь рассматриваются ETL-скрипты Glue для Apache Spark, ноутбуки Glue Studio, Glue Data Catalog, crawlers, Glue Data Quality и Glue for Ray.
aws-glue-samples можно использовать бесплатно? Какая у него лицензия?
aws-glue-samples распространяется с открытым исходным кодом под лицензией MIT-0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
aws-glue-samples всё ещё поддерживается?
Активно поддерживается. Последний коммит в aws-glue-samples — 6 нояб. 2026 г..
Для чего можно использовать aws-glue-samples?
Изучение создания и развертывания ETL-заданий AWS Glue с помощью PySpark. Миграция Hive metastore или старых заданий Glue 0.9/1.0 на актуальные версии Glue. Создание конвейеров CDC или медленно меняющихся измерений с загрузкой данных в Iceberg, Delta или озёра данных на S3. Подключение источника данных, который Glue не поддерживает из коробки, с помощью custom connector.
Где скачать aws-glue-samples?
Исходный код и инструкции по установке — на GitHub: https://github.com/aws-samples/aws-glue-samples

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

apache / iceberg

Высокопроизводительный открытый табличный формат для больших аналитических наборов данных, позволяющий Spark, Trino, Flink и Hive безопасно работать с одними и теми же таблицами.

Данные и аналитика#data-lake#table-format#big-data
9,4 тыс.+8 за неделю3,7 тыс.JavaApache-2.0Обновлён 17 часов назад

apache / seatunnel

Распределённый инструмент интеграции данных для синхронизации больших объёмов структурированных и неструктурированных данных через 160+ коннекторов в пакетном режиме, потоковой передаче и режиме CDC.

Данные и аналитика#data-integration#etl#cdc
9,8 тыс.+15 за неделю2,5 тыс.JavaApache-2.0Обновлён 15 часов назад

bruin-data / ingestr

CLI-инструмент для копирования данных между базами данных, файлами и SaaS-платформами одной командой, без написания кода.

Данные и аналитика#data-ingestion#etl#cli
4 тыс.+4 за неделю169GoOtherОбновлён 17 часов назад