Un reemplazo directo de Apache Spark escrito en Rust que ejecuta código PySpark existente mediante el protocolo Spark Connect.
3,5 mil+8 esta semana240RustApache-2.0Bien mantenidoActualizado hace 10 horas
aws-samples/aws-glue-samples
Ejemplos de código, tutoriales y utilidades para crear trabajos ETL y pipelines de integración de datos con AWS Glue.
- Estrellas
- 1,540
- Forks
- 835
- Issues abiertos
- 48
- Último commit
- hace 8 horas
¿Qué es?
Este repositorio reúne ejemplos de código, tutoriales y utilidades para AWS Glue, el servicio sin servidor de integración de datos de Amazon que permite descubrir, preparar, mover e integrar datos para analítica y machine learning. Incluye Glue para scripts ETL de Apache Spark, notebooks de Glue Studio, Glue Data Catalog, crawlers, Glue Data Quality y Glue para Ray.
Además de ejemplos de ETL, incluye utilidades operativas como una herramienta para migrar Hive metastore, una utilidad para sincronizar recursos de Glue entre cuentas o regiones, un verificador de obsolescencia de versiones de trabajos de Glue y un Dockerfile para Spark history server. También ofrece ejemplos de conectores personalizados que integran almacenes de datos de terceros en el entorno de ejecución de Glue Spark, junto con pruebas de validación local.
El repositorio también incluye agent skills basadas en Markdown para asistentes de programación con IA, que ayudan a actualizar trabajos antiguos de Glue y a migrar dev endpoints o trabajos de Glue para Ray a Amazon EKS. El código está bajo la licencia MIT-0.
Funciones clave
- 01Scripts ETL de ejemplo para Glue for Spark que permiten combinar, limpiar y convertir datos.
- 02Ejemplos de formatos de tablas abiertos Apache Hudi, Delta Lake y Apache Iceberg en Glue.
- 03Tutoriales sobre índices de partición de Glue Data Catalog, crawlers y Glue Data Quality.
- 04Utilidades para migrar Hive metastore, sincronizar recursos entre cuentas y comprobar obsolescencias.
- 05Guías para desarrollar conectores personalizados y pruebas de validación local para el entorno de ejecución de Glue Spark.
- 06Agent skills que ayudan a migrar trabajos antiguos de Glue a Glue 4.0 o a Amazon EKS.
Casos de uso
- Aprender a escribir e implementar trabajos ETL de AWS Glue con PySpark.
- Migrar un Hive metastore o trabajos antiguos de Glue 0.9/1.0 a versiones actuales de Glue.
- Crear pipelines de CDC o de dimensiones lentamente cambiantes hacia data lakes de Iceberg, Delta o S3.
- Conectar una fuente de datos que Glue no admita de forma nativa mediante un conector personalizado.
Antes de usarlo
- Los ejemplos se ejecutan en AWS Glue, por lo que necesitas una cuenta de AWS. El servicio se factura según el uso.
Temas
Preguntas frecuentes
- ¿Qué es aws-glue-samples?
- Ejemplos de código, tutoriales y utilidades para crear trabajos ETL y pipelines de integración de datos con AWS Glue. Este repositorio reúne ejemplos de código, tutoriales y utilidades para AWS Glue, el servicio sin servidor de integración de datos de Amazon que permite descubrir, preparar, mover e integrar datos para analítica y machine learning. Incluye Glue para scripts ETL de Apache Spark, notebooks de Glue Studio, Glue Data Catalog, crawlers, Glue Data Quality y Glue para Ray.
- ¿aws-glue-samples es gratuito? ¿Qué licencia tiene?
- aws-glue-samples es open source bajo la licencia MIT-0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿aws-glue-samples sigue mantenido?
- Mantenimiento activo. El último commit de aws-glue-samples fue el 6 nov 2026.
- ¿Para qué puedo usar aws-glue-samples?
- Aprender a escribir e implementar trabajos ETL de AWS Glue con PySpark. Migrar un Hive metastore o trabajos antiguos de Glue 0.9/1.0 a versiones actuales de Glue. Crear pipelines de CDC o de dimensiones lentamente cambiantes hacia data lakes de Iceberg, Delta o S3. Conectar una fuente de datos que Glue no admita de forma nativa mediante un conector personalizado.
- ¿Dónde consigo aws-glue-samples?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/aws-samples/aws-glue-samples
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Un formato de tablas abiertas de alto rendimiento para grandes conjuntos de datos analíticos, que permite a motores como Spark, Trino, Flink y Hive compartir tablas de forma segura.
9,4 mil+8 esta semana3,7 milJavaApache-2.0Actualizado hace 11 horas
Plataforma open source para mover datos en pipelines ELT desde APIs, bases de datos y archivos hacia almacenes, lagos y aplicaciones de IA.
22,3 mil+38 esta semana5,4 milPythonOtherActualizado hace 7 horas
Herramienta distribuida de integración de datos para sincronizar grandes volúmenes de datos estructurados y no estructurados con más de 160 conectores, en modos batch, streaming y CDC.
9,8 mil+15 esta semana2,5 milJavaApache-2.0Actualizado hace 9 horas
Herramienta de línea de comandos que copia datos entre bases de datos, archivos y plataformas SaaS con un solo comando y sin escribir código.
4 mil+4 esta semana169GoOtherActualizado hace 11 horas
Motor declarativo de integración de datos con enfoque code-first para crear pipelines ELT con taps y targets de Singer, y acceso a más de 600 API y bases de datos mediante su Hub.
2,7 mil+4 esta semana278PythonMITActualizado hace 8 horas