Repolode
Предложить
mrpowers-io

mrpowers-io/quinn

Вспомогательные функции PySpark для проверки DataFrame, преобразования столбцов и работы со схемами, ускоряющие разработку на Spark.

Открыть на GitHubСайт
Звёзды
691
Форки
95
Открытые issues
25
Последний коммит
14 дней назад

Что это?

Quinn — библиотека вспомогательных методов для PySpark. Она добавляет функции проверки DataFrame, которые контролируют наличие обязательных и отсутствие запрещённых столбцов и полей схемы, а также функции для работы со столбцами: очистки строк, обработки null и truthy-значений, вычисления дат начала и конца недели.

В библиотеку также входят преобразования DataFrame: перевод имён столбцов в snake_case, сортировка столбцов по алфавиту и массовое переименование столбцов. Вспомогательные функции преобразуют столбцы или целые DataFrame в списки и словари Python, а утилиты для работы со схемами считывают схему из CSV-файла или выводят существующую схему в виде кода Python.

Quinn устанавливается из PyPI с помощью pip; документация доступна на сайте проекта. Библиотека предназначена для инженеров данных и разработчиков, пишущих задания PySpark и желающих не дублировать типовой шаблонный код.

Ключевые возможности

  • 01Проверяет DataFrame на наличие обязательных и отсутствие запрещённых столбцов и на соответствие полям схемы.
  • 02Предоставляет функции для строковых столбцов, например удаление пробелов и символов, не являющихся буквами, цифрами или подчёркиваниями.
  • 03Предлагает проверки с безопасной обработкой null, например is_null_or_blank и null_between.
  • 04Переводит имена столбцов в snake_case и сортирует столбцы по алфавиту.
  • 05Создаёт схемы PySpark из CSV-файлов и выводит схемы в виде кода Python.

Сценарии использования

  • Проверка входящих DataFrame перед запуском конвейера преобразований Spark.
  • Приведение неаккуратных имён столбцов и строковых значений к единому формату в задачах очистки данных.
  • Объединение DataFrame с совпадающими именами столбцов после переименования этих столбцов с общим суффиксом.
  • Определение схем Spark в CSV-файлах, которые могут редактировать пользователи без опыта программирования.

Быстрый старт

  1. 1

    Установите Quinn из PyPI

    pip install quinn
  2. 2

    Импортируйте библиотеку в Python

    import quinn

Что важно знать

  • Требуется PySpark, поэтому библиотека полезна только для проектов на базе Spark.

Темы

#pyspark#apache-spark#data-validation#data-engineering#python#etl

Частые вопросы

Что такое quinn?
Вспомогательные функции PySpark для проверки DataFrame, преобразования столбцов и работы со схемами, ускоряющие разработку на Spark. Quinn — библиотека вспомогательных методов для PySpark. Она добавляет функции проверки DataFrame, которые контролируют наличие обязательных и отсутствие запрещённых столбцов и полей схемы, а также функции для работы со столбцами: очистки строк, обработки null и truthy-значений, вычисления дат начала и конца недели.
quinn можно использовать бесплатно? Какая у него лицензия?
quinn распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
quinn всё ещё поддерживается?
Активно поддерживается. Последний коммит в quinn — 25 окт. 2026 г..
Для чего можно использовать quinn?
Проверка входящих DataFrame перед запуском конвейера преобразований Spark. Приведение неаккуратных имён столбцов и строковых значений к единому формату в задачах очистки данных. Объединение DataFrame с совпадающими именами столбцов после переименования этих столбцов с общим суффиксом. Определение схем Spark в CSV-файлах, которые могут редактировать пользователи без опыта программирования.
Как установить quinn?
Установите Quinn из PyPI: pip install quinn Импортируйте библиотеку в Python: import quinn
Где скачать quinn?
Исходный код и инструкции по установке — на GitHub: https://github.com/mrpowers-io/quinn

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты