xqlsystems/xarray-sql
배열 데이터를 테이블처럼 다뤄 Xarray 데이터셋을 SQL로 쿼리하는 Python 라이브러리로, DuckDB, Polars, DataFusion 및 ADBC 엔진에서 사용할 수 있습니다.
- 스타
- 153
- 포크
- 23
- 열린 이슈
- 104
- 마지막 커밋
- 5일 전
어떤 프로젝트인가요?
xarray-sql은 배열 데이터셋을 위한 SQL 인터페이스입니다. Xarray Dataset을 테이블 형태로 변환해 원하는 쿼리 엔진에서 SQL 쿼리를 실행할 수 있게 합니다. from_dataset으로 데이터셋을 테이블로 등록하고 표준 SQL로 쿼리한 다음, 결과를 Xarray Dataset으로 변환해 추가 분석이나 시각화에 활용할 수 있습니다.
같은 방식으로 등록한 데이터셋을 PyArrow dataset 인터페이스를 통한 DuckDB, Polars, DataFusion 등 여러 엔진에서 사용할 수 있습니다. PostgreSQL, SQLite, Snowflake, BigQuery처럼 ADBC 드라이버가 있는 데이터베이스는 데이터를 가져올 수 있으며, xql.serve는 데이터셋을 Arrow Flight SQL 서버로 제공합니다. 프로젝트는 열 프로젝션과 차원 기반 조건자 푸시다운을 지원하는 클라우드 네이티브 Zarr 스토어를 문서화하고 있어, ARCO-ERA5 같은 대규모 데이터셋을 쿼리할 때 필요한 변수와 파티션만 읽습니다.
이 프로젝트는 실험 단계로 아직 초기 상태이며, 엔진별로 알려진 제한 사항을 문서화하고 있습니다. 선택적 extras를 설치하면 proj UDF를 통해 지리공간 기능을 추가할 수 있습니다.
핵심 기능
- 01from_dataset 또는 xql.register로 Xarray Dataset을 SQL 테이블로 등록합니다.
- 02to_dataset으로 쿼리 결과를 Xarray Dataset으로 변환합니다.
- 03DuckDB, Polars, DataFusion 및 ADBC가 지원하는 모든 데이터베이스에서 사용할 수 있습니다.
- 04열 프로젝션과 차원 필터를 Zarr로 푸시다운하고 파티션을 가지치기합니다.
- 05Arrow Flight SQL을 통해 외부 클라이언트에 데이터셋을 제공합니다.
활용 사례
- 격자형 기상 또는 기후 데이터에서 월별 기후값 같은 SQL 집계를 실행합니다.
- SQL을 사용해 테이블형 데이터와 래스터 또는 격자형 데이터셋을 조인합니다.
- 모든 데이터를 메모리에 불러오지 않고 클라우드에 호스팅된 대규모 Zarr 데이터셋을 쿼리합니다.
- SQL 사용자가 익숙한 데이터베이스 도구로 과학용 배열 데이터에 접근할 수 있게 합니다.
빠른 시작
- 1
PyPI에서 라이브러리를 설치합니다
pip install xarray-sql - 2
튜토리얼 예제에 필요한 선택적 의존성(pooch, netCDF4, matplotlib)을 설치합니다
pip install pooch netCDF4 matplotlib
사용 전 알아둘 점
- 아직 초기 단계의 프로젝트입니다. 유지 관리자는 초기 사용자를 찾고 있으며, 프로젝트가 변경될 수 있습니다.
- 엔진별 알려진 문제와 기본적인 알려진 문제는 별도로 문서화되어 있으므로, 사용에 의존하기 전에 확인하세요.
- 조밀한 텐서 연산은 네이티브 Xarray보다 SQL에서 더 느립니다.
포함된 컬렉션
토픽
자주 묻는 질문
- xarray-sql은(는) 무엇인가요?
- 배열 데이터를 테이블처럼 다뤄 Xarray 데이터셋을 SQL로 쿼리하는 Python 라이브러리로, DuckDB, Polars, DataFusion 및 ADBC 엔진에서 사용할 수 있습니다. xarray-sql은 배열 데이터셋을 위한 SQL 인터페이스입니다. Xarray Dataset을 테이블 형태로 변환해 원하는 쿼리 엔진에서 SQL 쿼리를 실행할 수 있게 합니다. from_dataset으로 데이터셋을 테이블로 등록하고 표준 SQL로 쿼리한 다음, 결과를 Xarray Dataset으로 변환해 추가 분석이나 시각화에 활용할 수 있습니다.
- xarray-sql은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- xarray-sql은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- xarray-sql은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. xarray-sql의 마지막 커밋은 2026년 11월 2일입니다.
- xarray-sql은(는) 어디에 사용할 수 있나요?
- 격자형 기상 또는 기후 데이터에서 월별 기후값 같은 SQL 집계를 실행합니다. SQL을 사용해 테이블형 데이터와 래스터 또는 격자형 데이터셋을 조인합니다. 모든 데이터를 메모리에 불러오지 않고 클라우드에 호스팅된 대규모 Zarr 데이터셋을 쿼리합니다. SQL 사용자가 익숙한 데이터베이스 도구로 과학용 배열 데이터에 접근할 수 있게 합니다.
- xarray-sql는 어떻게 설치하나요?
- PyPI에서 라이브러리를 설치합니다: pip install xarray-sql 튜토리얼 예제에 필요한 선택적 의존성(pooch, netCDF4, matplotlib)을 설치합니다: pip install pooch netCDF4 matplotlib
- xarray-sql은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/xqlsystems/xarray-sql
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
테이블형 데이터를 위한 GPU 가속 DataFrame 라이브러리로, pandas와 유사한 API와 코드 수정 없이 pandas를 가속하는 기능을 제공합니다.
브라우저, 데스크톱, 모바일, Jupyter에서 실행되는 경량 클라우드 네이티브 GIS 플랫폼으로, 공간 데이터를 시각화하고 분석할 수 있습니다.
기존 PySpark 코드를 Spark Connect 프로토콜로 실행하는 Rust 기반 Apache Spark 대체 엔진
Microsoft Research가 만든 AI 기반 데이터 탐색 도구로, 파일과 데이터베이스를 연결하고 질문을 편집 가능한 시각화로 바꿉니다.
멀티모달 AI를 위한 개방형 레이크하우스 테이블 및 파일 형식으로, 오브젝트 스토리지에서 벡터 검색, 전문 검색, 빠른 랜덤 액세스를 지원합니다.