Repolode
提交项目
vaexio

vaexio/vaex

一个 Python DataFrame 库，可惰性、不占满内存地探索和可视化十亿级行的大规模表格数据。

可替代:Tableau

在 GitHub 查看官网
Star
8,516
Fork
599
未关闭 Issue
556
最近提交
昨天

这是什么？

Vaex 是一个用于处理内存放不下的大型表格数据的 Python 库。它提供类似 Pandas 的 DataFrame 接口，但通过内存映射将数据保留在磁盘上，并以惰性方式计算表达式，因此过滤和转换操作不会复制数据。

该库可以在 N 维网格上计算均值、求和、计数、标准差等统计量，并通过直方图、密度图和 3D 体渲染进行可视化。HDF5 和 Apache Arrow 文件可通过内存映射快速打开，结合内存映射还支持从 S3 惰性流式读取。进行 join 时不会物化右侧表。

Vaex 可与 Jupyter 和 Voila 集成，用于交互式笔记本和仪表盘，并提供无需显式流水线的机器学习工具。可通过 pip 或 conda 安装。

核心功能

  • 01通过内存映射快速打开 HDF5 和 Apache Arrow 文件
  • 02惰性表达式计算，避免复制数据
  • 03并行化的 groupby 和聚合运算，包括按类别分组
  • 04join 时不物化右侧表，节省内存
  • 05直方图、密度图和 3D 体渲染可视化

适用场景

  • 在单台笔记本上探索数 GB 或十亿行级别的表格
  • 为大规模数据集制作交互式密度图和直方图
  • 在超大表格数据上训练 scikit-learn 模型
  • 在 Jupyter 或 Voila 中构建交互式仪表盘

快速上手

  1. 1

    使用 pip 安装 Vaex

    pip install vaex
  2. 2

    或使用 conda 从 conda-forge 安装 Vaex

    conda install -c conda-forge vaex

收录于专题

图表、示意图与动画可视化工具数据科学课程与工具

标签

#dataframe#big-data#data-analysis#out-of-core#apache-arrow#visualization#python#bigdata#data-science#hdf5

常见问题

vaex 是什么？
一个 Python DataFrame 库，可惰性、不占满内存地探索和可视化十亿级行的大规模表格数据。 Vaex 是一个用于处理内存放不下的大型表格数据的 Python 库。它提供类似 Pandas 的 DataFrame 接口，但通过内存映射将数据保留在磁盘上，并以惰性方式计算表达式，因此过滤和转换操作不会复制数据。
vaex 可以免费使用吗？用的什么许可证？
vaex 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
vaex 还在维护吗？
活跃维护中。vaex 最近一次提交是在 2026年11月6日。
vaex 适合用来做什么？
在单台笔记本上探索数 GB 或十亿行级别的表格 为大规模数据集制作交互式密度图和直方图 在超大表格数据上训练 scikit-learn 模型 在 Jupyter 或 Voila 中构建交互式仪表盘
vaex 怎么安装和运行？
使用 pip 安装 Vaex: pip install vaex 或使用 conda 从 conda-forge 安装 Vaex: conda install -c conda-forge vaex
在哪里获取 vaex？
源代码和安装说明在 GitHub 上：https://github.com/vaexio/vaex

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目