Repolode
vaexio

vaexio/vaex

データをメモリにすべて読み込まずに、数十億行の表形式データを遅延評価で探索・可視化できるPython用DataFrameライブラリ。

代替できる製品:Tableau

スター
8,516
フォーク
599
未解決の Issue
556
最終コミット
昨日

これは何?

Vaexは、メモリに収まらない大規模な表形式データを扱うためのPythonライブラリです。Pandasに似たDataFrame APIを備えつつ、メモリマッピングによってデータをディスク上に保持し、式を遅延評価するため、フィルタリングや変換を行ってもデータのコピーが作られません。

平均、合計、件数、標準偏差などの統計量をN次元グリッド上で計算でき、ヒストグラム、密度プロット、3Dボリュームレンダリングによる可視化にも対応しています。HDF5とApache Arrowのファイルはメモリマッピング経由で開くことができ、これと組み合わせてS3からの遅延ストリーミングも利用できます。結合時に右側のテーブルを実体化しません。

Vaexはノートブックやダッシュボード向けにJupyterとVoilaと連携でき、明示的なパイプラインなしで使える機械学習ユーティリティも備えています。pipまたはcondaでインストールできます。

主な機能

  • 01メモリマッピングによるHDF5およびApache Arrowファイルの読み込み
  • 02データのコピーを避ける遅延式評価
  • 03カテゴリデータにも対応した並列groupbyと集計
  • 04右側のテーブルを実体化しない結合
  • 05ヒストグラム、密度プロット、3Dボリューム可視化

ユースケース

  • 1台のノートPCで数GBまたは数十億行のテーブルを探索する
  • 大規模データセットのインタラクティブな密度プロットやヒストグラムを作成する
  • 非常に大きな表形式データでscikit-learnのモデルを学習する
  • JupyterまたはVoilaでインタラクティブなダッシュボードを構築する

クイックスタート

  1. 1

    pipでVaexをインストール

    pip install vaex
  2. 2

    または、conda-forgeからcondaでVaexをインストール

    conda install -c conda-forge vaex

収録されている特集

トピック

よくある質問

vaex とは?
データをメモリにすべて読み込まずに、数十億行の表形式データを遅延評価で探索・可視化できるPython用DataFrameライブラリ。 Vaexは、メモリに収まらない大規模な表形式データを扱うためのPythonライブラリです。Pandasに似たDataFrame APIを備えつつ、メモリマッピングによってデータをディスク上に保持し、式を遅延評価するため、フィルタリングや変換を行ってもデータのコピーが作られません。
vaex は無料で使えますか?ライセンスは?
vaex は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
vaex は今もメンテナンスされていますか?
活発にメンテナンス中。vaex の最終コミットは 2026年11月6日 です。
vaex は何に使えますか?
1台のノートPCで数GBまたは数十億行のテーブルを探索する 大規模データセットのインタラクティブな密度プロットやヒストグラムを作成する 非常に大きな表形式データでscikit-learnのモデルを学習する JupyterまたはVoilaでインタラクティブなダッシュボードを構築する
vaex のインストール方法は?
pipでVaexをインストール: pip install vaex または、conda-forgeからcondaでVaexをインストール: conda install -c conda-forge vaex
vaex はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/vaexio/vaex

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト