Repolode

#arrow

2026 추천 오픈소스 컬럼형 DataFrame 및 쿼리 엔진

이런 도구들은 컬럼형 메모리에 있는 표 형식 데이터에 대해 쿼리와 변환을 실행하며, 대용량 데이터셋에서는 행 단위 코드보다 훨씬 빠른 경우가 많습니다. 고를 때는 pandas나 Spark 같은 기존 환경을 그대로 대체할 도구가 필요한지, 직접 호출하는 새 엔진이 필요한지, 그리고 NVIDIA GPU를 쓸 수 있는지를 먼저 정하세요. polars는 Python, Node.js, R, SQL 바인딩을 제공하는 빠른 Rust 엔진입니다. cudf는 pandas 스타일 코드를 GPU에서 실행하며, 대부분 코드를 바꿀 필요가 없습니다. sail은 기존 PySpark 코드를 Spark Connect를 통해 실행합니다.

저장소 6개

Apache Arrow 컬럼형 데이터를 DataFusion 기반 Rust 엔진으로 처리해 Spark SQL과 DataFrame 연산을 코드 변경 없이 가속하는 Spark 가속기입니다.

데이터·분석#spark#arrow#datafusion
1.3천+7 이번 주414ScalaApache-2.0업데이트 4시간 전