Repolode
提交项目
mrpowers-io

mrpowers-io/quinn

面向 PySpark 的辅助函数库，提供 DataFrame 校验、列处理和 Schema 工具，提升 Spark 开发效率。

在 GitHub 查看官网
Star
691
Fork
95
未关闭 Issue
25
最近提交
13天前

这是什么？

Quinn 是一个 PySpark 辅助函数库，旨在减少 Spark 开发中的重复代码。它提供 DataFrame 校验函数，可检查必需列、禁止列以及 Schema 字段是否存在；同时包含字符串清理、空值与真假值判断、按周计算起止日期等列函数。

在 DataFrame 变换方面，Quinn 支持将列名转为 snake_case、按字母顺序排列列、批量重命名列。还提供把列或整个 DataFrame 转换为 Python 列表和字典的工具，以及从 CSV 文件读取 Schema、将已有 Schema 打印为可执行 Python 代码的功能。

项目可通过 pip 从 PyPI 安装，主要面向编写 PySpark 作业的数据工程师和开发者。

核心功能

  • 01校验 DataFrame 是否包含必需列、不包含禁止列以及指定 Schema 字段。
  • 02提供字符串列函数，如去除空白和非单词字符。
  • 03提供空值安全的判断函数，如 is_null_or_blank 和 null_between。
  • 04支持将列名转为 snake_case，并按字母顺序排列列。
  • 05可从 CSV 文件生成 PySpark Schema，也可将 Schema 打印为 Python 代码。

适用场景

  • 在运行 Spark 数据处理流程前校验输入 DataFrame 的结构。
  • 在数据清洗任务中统一混乱的列名和字符串内容。
  • 通过批量加后缀重命名列，解决多个 DataFrame 连接时的列名冲突。
  • 用 CSV 文件定义 Spark Schema，方便非程序员维护。

快速上手

  1. 1

    从 PyPI 安装 Quinn

    pip install quinn
  2. 2

    在 Python 中导入该库

    import quinn

使用前须知

  • 需要 PySpark，因此仅适用于基于 Spark 的项目。

标签

#pyspark#apache-spark#data-validation#data-engineering#python#etl

常见问题

quinn 是什么？
面向 PySpark 的辅助函数库，提供 DataFrame 校验、列处理和 Schema 工具，提升 Spark 开发效率。 Quinn 是一个 PySpark 辅助函数库，旨在减少 Spark 开发中的重复代码。它提供 DataFrame 校验函数，可检查必需列、禁止列以及 Schema 字段是否存在；同时包含字符串清理、空值与真假值判断、按周计算起止日期等列函数。
quinn 可以免费使用吗？用的什么许可证？
quinn 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
quinn 还在维护吗？
活跃维护中。quinn 最近一次提交是在 2026年10月25日。
quinn 适合用来做什么？
在运行 Spark 数据处理流程前校验输入 DataFrame 的结构。 在数据清洗任务中统一混乱的列名和字符串内容。 通过批量加后缀重命名列，解决多个 DataFrame 连接时的列名冲突。 用 CSV 文件定义 Spark Schema，方便非程序员维护。
quinn 怎么安装和运行？
从 PyPI 安装 Quinn: pip install quinn 在 Python 中导入该库: import quinn
在哪里获取 quinn？
源代码和安装说明在 GitHub 上：https://github.com/mrpowers-io/quinn

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目