Repolode
mrpowers-io

mrpowers-io/quinn

Funciones auxiliares de PySpark para validar DataFrames, transformar columnas y gestionar esquemas, y así agilizar el desarrollo con Spark.

Estrellas
691
Forks
95
Issues abiertos
25
Último commit
hace 12 días

¿Qué es?

Quinn es una biblioteca de Python con métodos auxiliares para PySpark. Añade funciones de validación de DataFrame que comprueban si faltan columnas o campos de esquema obligatorios, o si hay columnas o campos prohibidos. También incluye funciones para limpiar cadenas, gestionar valores nulos y truthy, y calcular las fechas de inicio y fin de la semana.

La biblioteca también incluye transformaciones de DataFrame, como convertir los nombres de las columnas a snake_case, ordenarlas alfabéticamente y renombrar muchas de una vez. Sus funciones auxiliares convierten columnas o DataFrames completos en listas y diccionarios de Python. Además, sus utilidades de esquema permiten leer un esquema de un archivo CSV o mostrar uno existente como código Python.

Quinn se instala desde PyPI con pip y cuenta con documentación en el sitio web del proyecto. Está dirigida a ingenieros de datos y desarrolladores que escriben trabajos de PySpark y quieren evitar repetir código rutinario.

Funciones clave

  • 01Valida DataFrames para comprobar si tienen las columnas y los campos de esquema obligatorios, y si contienen columnas prohibidas.
  • 02Ofrece funciones para columnas de texto, como eliminar espacios en blanco y quitar caracteres que no sean alfanuméricos.
  • 03Incluye comprobaciones que gestionan valores nulos, como is_null_or_blank y null_between.
  • 04Convierte los nombres de las columnas a snake_case y las ordena alfabéticamente.
  • 05Crea esquemas de PySpark a partir de archivos CSV y los muestra como código Python.

Casos de uso

  • Validar los DataFrames de entrada antes de ejecutar un pipeline de transformaciones de Spark.
  • Estandarizar nombres de columnas y valores de texto desordenados en trabajos de limpieza de datos.
  • Unir DataFrames con nombres de columna coincidentes, renombrándolos con un sufijo común.
  • Definir esquemas de Spark en archivos CSV que puedan editar personas sin conocimientos de programación.

Inicio rápido

  1. 1

    Instala Quinn desde PyPI

    pip install quinn
  2. 2

    Importa la biblioteca en Python

    import quinn

Antes de usarlo

  • Requiere PySpark, por lo que solo es útil para proyectos basados en Spark.

Temas

Preguntas frecuentes

¿Qué es quinn?
Funciones auxiliares de PySpark para validar DataFrames, transformar columnas y gestionar esquemas, y así agilizar el desarrollo con Spark. Quinn es una biblioteca de Python con métodos auxiliares para PySpark. Añade funciones de validación de DataFrame que comprueban si faltan columnas o campos de esquema obligatorios, o si hay columnas o campos prohibidos. También incluye funciones para limpiar cadenas, gestionar valores nulos y truthy, y calcular las fechas de inicio y fin de la semana.
¿quinn es gratuito? ¿Qué licencia tiene?
quinn es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿quinn sigue mantenido?
Mantenimiento activo. El último commit de quinn fue el 25 oct 2026.
¿Para qué puedo usar quinn?
Validar los DataFrames de entrada antes de ejecutar un pipeline de transformaciones de Spark. Estandarizar nombres de columnas y valores de texto desordenados en trabajos de limpieza de datos. Unir DataFrames con nombres de columna coincidentes, renombrándolos con un sufijo común. Definir esquemas de Spark en archivos CSV que puedan editar personas sin conocimientos de programación.
¿Cómo se instala quinn?
Instala Quinn desde PyPI: pip install quinn Importa la biblioteca en Python: import quinn
¿Dónde consigo quinn?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/mrpowers-io/quinn

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados