pandas、polars、pyarrowのDataFrameを、Jupyter上で操作できるドラッグ&ドロップ式のビジュアル分析UIに変換するPythonライブラリです。
- スター
- 8,516
- フォーク
- 599
- 未解決の Issue
- 556
- 最終コミット
- 昨日
これは何?
Vaexは、メモリに収まらない大規模な表形式データを扱うためのPythonライブラリです。Pandasに似たDataFrame APIを備えつつ、メモリマッピングによってデータをディスク上に保持し、式を遅延評価するため、フィルタリングや変換を行ってもデータのコピーが作られません。
平均、合計、件数、標準偏差などの統計量をN次元グリッド上で計算でき、ヒストグラム、密度プロット、3Dボリュームレンダリングによる可視化にも対応しています。HDF5とApache Arrowのファイルはメモリマッピング経由で開くことができ、これと組み合わせてS3からの遅延ストリーミングも利用できます。結合時に右側のテーブルを実体化しません。
Vaexはノートブックやダッシュボード向けにJupyterとVoilaと連携でき、明示的なパイプラインなしで使える機械学習ユーティリティも備えています。pipまたはcondaでインストールできます。
主な機能
- 01メモリマッピングによるHDF5およびApache Arrowファイルの読み込み
- 02データのコピーを避ける遅延式評価
- 03カテゴリデータにも対応した並列groupbyと集計
- 04右側のテーブルを実体化しない結合
- 05ヒストグラム、密度プロット、3Dボリューム可視化
ユースケース
- 1台のノートPCで数GBまたは数十億行のテーブルを探索する
- 大規模データセットのインタラクティブな密度プロットやヒストグラムを作成する
- 非常に大きな表形式データでscikit-learnのモデルを学習する
- JupyterまたはVoilaでインタラクティブなダッシュボードを構築する
クイックスタート
- 1
pipでVaexをインストール
pip install vaex - 2
または、conda-forgeからcondaでVaexをインストール
conda install -c conda-forge vaex
収録されている特集
トピック
よくある質問
- vaex とは?
- データをメモリにすべて読み込まずに、数十億行の表形式データを遅延評価で探索・可視化できるPython用DataFrameライブラリ。 Vaexは、メモリに収まらない大規模な表形式データを扱うためのPythonライブラリです。Pandasに似たDataFrame APIを備えつつ、メモリマッピングによってデータをディスク上に保持し、式を遅延評価するため、フィルタリングや変換を行ってもデータのコピーが作られません。
- vaex は無料で使えますか?ライセンスは?
- vaex は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- vaex は今もメンテナンスされていますか?
- 活発にメンテナンス中。vaex の最終コミットは 2026年11月6日 です。
- vaex は何に使えますか?
- 1台のノートPCで数GBまたは数十億行のテーブルを探索する 大規模データセットのインタラクティブな密度プロットやヒストグラムを作成する 非常に大きな表形式データでscikit-learnのモデルを学習する JupyterまたはVoilaでインタラクティブなダッシュボードを構築する
- vaex のインストール方法は?
- pipでVaexをインストール: pip install vaex または、conda-forgeからcondaでVaexをインストール: conda install -c conda-forge vaex
- vaex はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/vaexio/vaex
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Pythonが動く環境ならどこでも実行できる、テスト可能で自己文書化されたDAGとしてデータ変換を定義する軽量なPythonライブラリ。
表形式データの読み込み、クリーニング、変換、要約と、Plotlyベースのチャート作成に対応するJava向けデータフレームライブラリです。
SQL、Scala、Pythonなどのインタープリターを共有ドキュメントで使える、インタラクティブなデータ分析向けWebノートブック。
Pythonライブラリ。スクリプトを、データダッシュボードやレポート、チャットアプリ向けのインタラクティブなWebアプリに変換します。
マルチモーダルAI向けのオープンなレイクハウステーブル/ファイル形式。オブジェクトストレージ上でベクトル検索、全文検索、高速なランダムアクセスを実現します。