Apache Spark 파이프라인에 분산 머신러닝, 딥러닝 및 Azure AI 서비스를 추가하는 오픈소스 라이브러리입니다.
mrpowers-io/quinn
Spark 개발을 빠르게 진행할 수 있도록 DataFrame 검증, 컬럼 변환, 스키마 유틸리티용 PySpark 헬퍼 함수를 제공합니다.
- 스타
- 691
- 포크
- 95
- 열린 이슈
- 25
- 마지막 커밋
- 13일 전
어떤 프로젝트인가요?
Quinn은 PySpark용 헬퍼 메서드를 제공하는 Python 라이브러리입니다. 필수 또는 금지된 컬럼과 스키마 필드를 확인하는 DataFrame 검증 함수와 문자열 정리, null 및 truthy 값 처리, 주의 시작일과 종료일 계산을 위한 컬럼 함수를 제공합니다.
또한 컬럼명을 snake_case로 변환하고, 컬럼을 알파벳순으로 정렬하며, 여러 컬럼의 이름을 한 번에 바꾸는 DataFrame 변환 기능도 포함합니다. 컬럼이나 DataFrame 전체를 Python 리스트와 딕셔너리로 변환하는 헬퍼와, CSV 파일에서 스키마를 읽거나 기존 스키마를 Python 코드로 출력하는 유틸리티도 제공합니다.
Quinn은 pip로 PyPI에서 설치할 수 있으며 프로젝트 웹사이트에 문서가 있습니다. 반복되는 상용구 코드를 줄이고 싶은 PySpark 작업을 작성하는 데이터 엔지니어와 개발자를 대상으로 합니다.
핵심 기능
- 01필수 컬럼, 금지된 컬럼, 스키마 필드가 있는지 DataFrame을 검증합니다.
- 02공백 제거와 단어가 아닌 문자 삭제 등의 문자열 컬럼 함수를 제공합니다.
- 03is_null_or_blank 및 null_between 같은 null 안전성 검사 기능을 제공합니다.
- 04컬럼명을 snake_case로 변환하고 알파벳순으로 정렬합니다.
- 05CSV 파일에서 PySpark 스키마를 만들고 스키마를 Python 코드로 출력합니다.
활용 사례
- Spark 변환 파이프라인을 실행하기 전에 입력 DataFrame을 검증합니다.
- 데이터 정리 작업에서 일관성 없는 컬럼명과 문자열 값을 표준화합니다.
- 공통 접미사를 붙여 컬럼명을 변경하고, 이름이 겹치는 DataFrame을 조인합니다.
- 프로그래머가 아닌 사람도 편집할 수 있는 CSV 파일로 Spark 스키마를 정의합니다.
빠른 시작
- 1
PyPI에서 Quinn을 설치합니다
pip install quinn - 2
Python에서 라이브러리를 가져옵니다
import quinn
사용 전 알아둘 점
- PySpark가 필요하므로 Spark 기반 프로젝트에서만 유용합니다.
토픽
자주 묻는 질문
- quinn은(는) 무엇인가요?
- Spark 개발을 빠르게 진행할 수 있도록 DataFrame 검증, 컬럼 변환, 스키마 유틸리티용 PySpark 헬퍼 함수를 제공합니다. Quinn은 PySpark용 헬퍼 메서드를 제공하는 Python 라이브러리입니다. 필수 또는 금지된 컬럼과 스키마 필드를 확인하는 DataFrame 검증 함수와 문자열 정리, null 및 truthy 값 처리, 주의 시작일과 종료일 계산을 위한 컬럼 함수를 제공합니다.
- quinn은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- quinn은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- quinn은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. quinn의 마지막 커밋은 2026년 10월 25일입니다.
- quinn은(는) 어디에 사용할 수 있나요?
- Spark 변환 파이프라인을 실행하기 전에 입력 DataFrame을 검증합니다. 데이터 정리 작업에서 일관성 없는 컬럼명과 문자열 값을 표준화합니다. 공통 접미사를 붙여 컬럼명을 변경하고, 이름이 겹치는 DataFrame을 조인합니다. 프로그래머가 아닌 사람도 편집할 수 있는 CSV 파일로 Spark 스키마를 정의합니다.
- quinn는 어떻게 설치하나요?
- PyPI에서 Quinn을 설치합니다: pip install quinn Python에서 라이브러리를 가져옵니다: import quinn
- quinn은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mrpowers-io/quinn
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
팀이 데이터에 대한 선언형 Expectation을 단위 테스트처럼 작성하고 검증 보고서를 생성할 수 있는 Python 데이터 품질 라이브러리입니다.
기존 PySpark 코드를 Spark Connect 프로토콜로 실행하는 Rust 기반 Apache Spark 대체 엔진
데이터 엔지니어링 학습 자료를 모아 정리한 링크 중심 핸드북으로, 책, 커뮤니티, 강의, 도구, 블로그 등을 다룹니다.
테이블, 데이터셋, ML 모델, 보고서 같은 데이터 자산을 정의하고 실행 및 모니터링하는 Python 오케스트레이션 플랫폼입니다.
Python, SQL 또는 R로 데이터 파이프라인을 구축하고 예약 실행 및 디버깅할 수 있는 셀프 호스팅 노트북 스타일 환경입니다.