mrpowers-io/quinn

これは何？

主な機能

• 01必須列、禁止列、スキーマフィールドについてDataFrameを検証します。
• 02空白の削除や単語以外の文字の除去など、文字列列向けの関数を提供します。
• 03is_null_or_blankやnull_betweenなど、nullに安全なチェック関数を備えています。
• 04列名をsnake_caseに変換し、列をアルファベット順に並べ替えます。
• 05CSVファイルからPySparkスキーマを作成し、スキーマをPythonコードとして出力します。

ユースケース

• Sparkの変換パイプラインを実行する前に、入力DataFrameを検証する。
• データクリーニングのジョブで、乱雑な列名や文字列値の形式を統一する。
• 共通のサフィックスを付けて列名を変更し、列名が重複するDataFrame同士を結合する。
• プログラミングに詳しくない人も編集できるCSVファイルでSparkスキーマを定義する。

クイックスタート

1. 1

   PyPIからQuinnをインストールする

   pip install quinn
2. 2

   Pythonでライブラリをインポートする

   import quinn

使う前に知っておきたいこと

• !PySparkが必要なため、Sparkベースのプロジェクトでのみ役立ちます。

トピック

よくある質問

quinn とは？

Spark開発を効率化する、DataFrameの検証、列変換、スキーマ操作向けのPySparkヘルパー関数ライブラリ。 Quinnは、PySpark向けのヘルパーメソッドを提供するPythonライブラリです。必須または禁止された列やスキーマフィールドの有無を確認するDataFrame検証関数に加え、文字列のクリーニング、nullやtruthy値の処理、週の開始日と終了日の算出に使える列関数を備えています。

quinn は無料で使えますか？ライセンスは？

quinn は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

quinn は今もメンテナンスされていますか？

活発にメンテナンス中。quinn の最終コミットは 2026年10月25日 です。

quinn は何に使えますか？

Sparkの変換パイプラインを実行する前に、入力DataFrameを検証する。 データクリーニングのジョブで、乱雑な列名や文字列値の形式を統一する。 共通のサフィックスを付けて列名を変更し、列名が重複するDataFrame同士を結合する。 プログラミングに詳しくない人も編集できるCSVファイルでSparkスキーマを定義する。

quinn のインストール方法は？

PyPIからQuinnをインストールする: pip install quinn Pythonでライブラリをインポートする: import quinn

quinn はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/mrpowers-io/quinn