Uma alternativa plug-and-play ao Apache Spark, escrita em Rust, que executa código PySpark existente pelo protocolo Spark Connect.
3,5 mil+8 esta semana240RustApache-2.0Bem mantidoAtualizado há 16 horas
aws-samples/aws-glue-samples
Exemplos de código, tutoriais e utilitários para criar jobs de ETL e pipelines de integração de dados no AWS Glue.
- Estrelas
- 1,540
- Forks
- 835
- Issues abertas
- 48
- Último commit
- há 15 horas
O que é?
Este repositório reúne exemplos de código, tutoriais e utilitários para o AWS Glue, o serviço de integração de dados serverless da Amazon, usado para descobrir, preparar, mover e integrar dados para analytics e machine learning. O conteúdo inclui scripts de ETL do Glue para Apache Spark, notebooks do Glue Studio, Glue Data Catalog, crawlers, Glue Data Quality e Glue for Ray.
Além dos exemplos de ETL, o repositório inclui utilitários operacionais, como uma ferramenta de migração do Hive metastore, um utilitário para sincronizar recursos do Glue entre contas ou regiões, um verificador de descontinuação de versões de jobs do Glue e um Dockerfile para o Spark history server. Também traz exemplos de conectores personalizados que integram armazenamentos de dados de terceiros ao runtime do Glue Spark, além de testes de validação local.
O repositório também inclui agent skills baseadas em Markdown para assistentes de programação com IA, que ajudam a atualizar jobs antigos do Glue e a migrar dev endpoints ou jobs do Glue for Ray para o Amazon EKS. O código é licenciado sob MIT-0.
Recursos principais
- 01Scripts de exemplo de ETL do Glue for Spark para combinar, limpar e converter dados.
- 02Exemplos de formatos de tabela aberta Apache Hudi, Delta Lake e Apache Iceberg no Glue.
- 03Tutoriais sobre índices de partição do Glue Data Catalog, crawlers e Glue Data Quality.
- 04Utilitários para migração do Hive metastore, sincronização de recursos entre contas e verificações de descontinuação.
- 05Guias de desenvolvimento de conectores personalizados e testes de validação local para o runtime do Glue Spark.
- 06Agent skills que ajudam a migrar jobs antigos do Glue para o Glue 4.0 ou para o Amazon EKS.
Casos de uso
- Aprender a escrever e implantar jobs de ETL do AWS Glue com PySpark.
- Migrar um Hive metastore ou jobs antigos do Glue 0.9/1.0 para versões atuais do Glue.
- Criar pipelines de CDC ou de dimensão lentamente mutável para data lakes no Iceberg, Delta ou S3.
- Conectar uma fonte de dados que não seja compatível nativamente com o Glue usando um conector personalizado.
Antes de usar
- Os exemplos são executados no AWS Glue, então você precisa de uma conta da AWS. O serviço é cobrado conforme o uso.
Tópicos
Perguntas frequentes
- O que é aws-glue-samples?
- Exemplos de código, tutoriais e utilitários para criar jobs de ETL e pipelines de integração de dados no AWS Glue. Este repositório reúne exemplos de código, tutoriais e utilitários para o AWS Glue, o serviço de integração de dados serverless da Amazon, usado para descobrir, preparar, mover e integrar dados para analytics e machine learning. O conteúdo inclui scripts de ETL do Glue para Apache Spark, notebooks do Glue Studio, Glue Data Catalog, crawlers, Glue Data Quality e Glue for Ray.
- aws-glue-samples é gratuito? Qual é a licença?
- aws-glue-samples é open source sob a licença MIT-0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- aws-glue-samples ainda é mantido?
- Manutenção ativa. O último commit de aws-glue-samples foi em 6 de nov. de 2026.
- Para que posso usar aws-glue-samples?
- Aprender a escrever e implantar jobs de ETL do AWS Glue com PySpark. Migrar um Hive metastore ou jobs antigos do Glue 0.9/1.0 para versões atuais do Glue. Criar pipelines de CDC ou de dimensão lentamente mutável para data lakes no Iceberg, Delta ou S3. Conectar uma fonte de dados que não seja compatível nativamente com o Glue usando um conector personalizado.
- Onde consigo aws-glue-samples?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/aws-samples/aws-glue-samples
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Formato aberto de tabelas de alto desempenho para grandes conjuntos de dados analíticos, que permite a engines como Spark, Trino, Flink e Hive compartilhar as mesmas tabelas com segurança.
9,4 mil+8 esta semana3,7 milJavaApache-2.0Atualizado há 18 horas
Plataforma open source de movimentação de dados para pipelines ELT, que leva dados de APIs, bancos de dados e arquivos para data warehouses, data lakes e aplicações de IA.
22,3 mil+38 esta semana5,4 milPythonOtherAtualizado há 13 horas
Ferramenta distribuída de integração de dados para sincronizar grandes volumes de dados estruturados e não estruturados com mais de 160 conectores, em modos batch, streaming e CDC.
9,8 mil+15 esta semana2,5 milJavaApache-2.0Atualizado há 15 horas
Ferramenta de linha de comando que copia dados entre bancos de dados, arquivos e plataformas SaaS com um único comando, sem precisar escrever código.
4 mil+4 esta semana169GoOtherAtualizado há 18 horas
Mecanismo de integração de dados declarativo e orientado a código para criar pipelines ELT com taps e targets Singer, com mais de 600 APIs e bancos de dados disponíveis no Hub.
2,7 mil+4 esta semana278PythonMITAtualizado há 14 horas