Biblioteca de código abierto que incorpora aprendizaje automático distribuido, deep learning y servicios de Azure AI a los pipelines de Apache Spark.
mrpowers-io/quinn
Funciones auxiliares de PySpark para validar DataFrames, transformar columnas y gestionar esquemas, y así agilizar el desarrollo con Spark.
- Estrellas
- 691
- Forks
- 95
- Issues abiertos
- 25
- Último commit
- hace 12 días
¿Qué es?
Quinn es una biblioteca de Python con métodos auxiliares para PySpark. Añade funciones de validación de DataFrame que comprueban si faltan columnas o campos de esquema obligatorios, o si hay columnas o campos prohibidos. También incluye funciones para limpiar cadenas, gestionar valores nulos y truthy, y calcular las fechas de inicio y fin de la semana.
La biblioteca también incluye transformaciones de DataFrame, como convertir los nombres de las columnas a snake_case, ordenarlas alfabéticamente y renombrar muchas de una vez. Sus funciones auxiliares convierten columnas o DataFrames completos en listas y diccionarios de Python. Además, sus utilidades de esquema permiten leer un esquema de un archivo CSV o mostrar uno existente como código Python.
Quinn se instala desde PyPI con pip y cuenta con documentación en el sitio web del proyecto. Está dirigida a ingenieros de datos y desarrolladores que escriben trabajos de PySpark y quieren evitar repetir código rutinario.
Funciones clave
- 01Valida DataFrames para comprobar si tienen las columnas y los campos de esquema obligatorios, y si contienen columnas prohibidas.
- 02Ofrece funciones para columnas de texto, como eliminar espacios en blanco y quitar caracteres que no sean alfanuméricos.
- 03Incluye comprobaciones que gestionan valores nulos, como is_null_or_blank y null_between.
- 04Convierte los nombres de las columnas a snake_case y las ordena alfabéticamente.
- 05Crea esquemas de PySpark a partir de archivos CSV y los muestra como código Python.
Casos de uso
- Validar los DataFrames de entrada antes de ejecutar un pipeline de transformaciones de Spark.
- Estandarizar nombres de columnas y valores de texto desordenados en trabajos de limpieza de datos.
- Unir DataFrames con nombres de columna coincidentes, renombrándolos con un sufijo común.
- Definir esquemas de Spark en archivos CSV que puedan editar personas sin conocimientos de programación.
Inicio rápido
- 1
Instala Quinn desde PyPI
pip install quinn - 2
Importa la biblioteca en Python
import quinn
Antes de usarlo
- Requiere PySpark, por lo que solo es útil para proyectos basados en Spark.
Temas
Preguntas frecuentes
- ¿Qué es quinn?
- Funciones auxiliares de PySpark para validar DataFrames, transformar columnas y gestionar esquemas, y así agilizar el desarrollo con Spark. Quinn es una biblioteca de Python con métodos auxiliares para PySpark. Añade funciones de validación de DataFrame que comprueban si faltan columnas o campos de esquema obligatorios, o si hay columnas o campos prohibidos. También incluye funciones para limpiar cadenas, gestionar valores nulos y truthy, y calcular las fechas de inicio y fin de la semana.
- ¿quinn es gratuito? ¿Qué licencia tiene?
- quinn es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿quinn sigue mantenido?
- Mantenimiento activo. El último commit de quinn fue el 25 oct 2026.
- ¿Para qué puedo usar quinn?
- Validar los DataFrames de entrada antes de ejecutar un pipeline de transformaciones de Spark. Estandarizar nombres de columnas y valores de texto desordenados en trabajos de limpieza de datos. Unir DataFrames con nombres de columna coincidentes, renombrándolos con un sufijo común. Definir esquemas de Spark en archivos CSV que puedan editar personas sin conocimientos de programación.
- ¿Cómo se instala quinn?
- Instala Quinn desde PyPI: pip install quinn Importa la biblioteca en Python: import quinn
- ¿Dónde consigo quinn?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/mrpowers-io/quinn
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Biblioteca de Python para calidad de datos que permite a los equipos definir Expectations declarativas como pruebas unitarias y generar informes de validación.
Un reemplazo directo de Apache Spark escrito en Rust que ejecuta código PySpark existente mediante el protocolo Spark Connect.
Manual curado y lleno de enlaces con libros, comunidades, cursos, herramientas, blogs y recursos de aprendizaje sobre ingeniería de datos.
Plataforma de orquestación en Python para definir, ejecutar y monitorear activos de datos como tablas, conjuntos de datos, modelos de ML e informes.
Entorno autohospedado, tipo notebook, para crear, programar y depurar pipelines de datos en Python, SQL o R.