Repolode
vaexio

vaexio/vaex

데이터 전체를 메모리에 올리지 않고도 수십억 행의 테이블 데이터를 지연 탐색하고 시각화할 수 있는 Python DataFrame 라이브러리입니다.

대체할 수 있는 제품:Tableau

스타
8,516
포크
599
열린 이슈
556
마지막 커밋
어제

어떤 프로젝트인가요?

Vaex는 메모리에 담기지 않는 대용량 테이블 데이터를 다루는 Python 라이브러리입니다. Pandas와 비슷한 DataFrame API를 제공하지만, 메모리 매핑으로 데이터를 디스크에 둔 채 표현식을 지연 평가하므로 필터링이나 변환 시 데이터 복사본을 만들지 않습니다.

이 라이브러리는 N차원 그리드에서 평균, 합계, 개수, 표준 편차 등의 통계를 계산하며, 히스토그램, 밀도 플롯, 3D 볼륨 렌더링을 통한 시각화도 지원합니다. HDF5 및 Apache Arrow 파일은 메모리 매핑으로 열 수 있고, 이를 이용한 S3의 지연 스트리밍도 지원합니다. 조인 시 오른쪽 테이블을 메모리에 구체화하지 않습니다.

Vaex는 노트북과 대시보드를 위한 Jupyter 및 Voila 통합 기능을 제공하고, 명시적인 파이프라인 없이 사용할 수 있는 머신러닝 유틸리티도 포함합니다. pip 또는 conda로 설치할 수 있습니다.

핵심 기능

  • 01메모리 매핑을 통한 HDF5 및 Apache Arrow 파일 열기
  • 02데이터 복사를 방지하는 지연 표현식 평가
  • 03범주형 데이터를 포함한 병렬 groupby 및 집계
  • 04오른쪽 테이블을 메모리에 구체화하지 않는 조인
  • 05히스토그램, 밀도 플롯 및 3D 볼륨 시각화

활용 사례

  • 개인 노트북 한 대에서 수 GB 또는 수십억 행의 테이블 탐색
  • 대규모 데이터셋의 대화형 밀도 플롯 및 히스토그램 생성
  • 매우 큰 테이블 데이터로 scikit-learn 모델 학습
  • Jupyter 또는 Voila에서 대화형 대시보드 구축

빠른 시작

  1. 1

    pip으로 Vaex 설치

    pip install vaex
  2. 2

    또는 conda-forge에서 conda로 Vaex 설치

    conda install -c conda-forge vaex

포함된 컬렉션

토픽

자주 묻는 질문

vaex은(는) 무엇인가요?
데이터 전체를 메모리에 올리지 않고도 수십억 행의 테이블 데이터를 지연 탐색하고 시각화할 수 있는 Python DataFrame 라이브러리입니다. Vaex는 메모리에 담기지 않는 대용량 테이블 데이터를 다루는 Python 라이브러리입니다. Pandas와 비슷한 DataFrame API를 제공하지만, 메모리 매핑으로 데이터를 디스크에 둔 채 표현식을 지연 평가하므로 필터링이나 변환 시 데이터 복사본을 만들지 않습니다.
vaex은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
vaex은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
vaex은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. vaex의 마지막 커밋은 2026년 11월 6일입니다.
vaex은(는) 어디에 사용할 수 있나요?
개인 노트북 한 대에서 수 GB 또는 수십억 행의 테이블 탐색 대규모 데이터셋의 대화형 밀도 플롯 및 히스토그램 생성 매우 큰 테이블 데이터로 scikit-learn 모델 학습 Jupyter 또는 Voila에서 대화형 대시보드 구축
vaex는 어떻게 설치하나요?
pip으로 Vaex 설치: pip install vaex 또는 conda-forge에서 conda로 Vaex 설치: conda install -c conda-forge vaex
vaex은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/vaexio/vaex

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트