Repolode
vaexio

vaexio/vaex

Библиотека DataFrame для Python: позволяет лениво исследовать и визуализировать табличные наборы данных с миллиардами строк, не загружая их целиком в память.

Open source альтернатива:Tableau

Звёзды
8,516
Форки
599
Открытые issues
556
Последний коммит
16 часов назад

Что это?

Vaex — библиотека Python для работы с большими табличными наборами данных, которые не помещаются в память. Она предоставляет API DataFrame, похожий на Pandas, но хранит данные на диске с помощью memory mapping и лениво вычисляет выражения, поэтому фильтрация и преобразования не создают копии данных.

Библиотека вычисляет статистики — например, среднее, сумму, количество и стандартное отклонение — по N-мерным сеткам и поддерживает визуализацию с помощью гистограмм, графиков плотности и 3D-рендеринга объёмов. Файлы HDF5 и Apache Arrow открываются с помощью memory mapping; также поддерживается ленивая потоковая загрузка из S3. При объединении таблиц правая таблица не материализуется.

Vaex интегрируется с Jupyter и Voila для работы с ноутбуками и дашбордами, а также включает утилиты машинного обучения, не требующие явного построения пайплайнов. Библиотеку можно установить через pip или conda.

Ключевые возможности

  • 01Открытие файлов HDF5 и Apache Arrow с помощью memory mapping
  • 02Ленивое вычисление выражений без копирования данных
  • 03Параллельные группировки и агрегации, в том числе по категориям
  • 04Объединение таблиц без материализации правой таблицы
  • 05Визуализация с помощью гистограмм, графиков плотности и 3D-рендеринга объёмов

Сценарии использования

  • Исследование таблиц размером в несколько гигабайт или с миллиардами строк на одном ноутбуке
  • Создание интерактивных графиков плотности и гистограмм для больших наборов данных
  • Обучение моделей scikit-learn на очень больших табличных данных
  • Создание интерактивных дашбордов в Jupyter или Voila

Быстрый старт

  1. 1

    Установите Vaex с помощью pip

    pip install vaex
  2. 2

    Или установите Vaex с помощью conda из conda-forge

    conda install -c conda-forge vaex

В подборках

Темы

Частые вопросы

Что такое vaex?
Библиотека DataFrame для Python: позволяет лениво исследовать и визуализировать табличные наборы данных с миллиардами строк, не загружая их целиком в память. Vaex — библиотека Python для работы с большими табличными наборами данных, которые не помещаются в память. Она предоставляет API DataFrame, похожий на Pandas, но хранит данные на диске с помощью memory mapping и лениво вычисляет выражения, поэтому фильтрация и преобразования не создают копии данных.
vaex можно использовать бесплатно? Какая у него лицензия?
vaex распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
vaex всё ещё поддерживается?
Активно поддерживается. Последний коммит в vaex — 6 нояб. 2026 г..
Для чего можно использовать vaex?
Исследование таблиц размером в несколько гигабайт или с миллиардами строк на одном ноутбуке Создание интерактивных графиков плотности и гистограмм для больших наборов данных Обучение моделей scikit-learn на очень больших табличных данных Создание интерактивных дашбордов в Jupyter или Voila
Как установить vaex?
Установите Vaex с помощью pip: pip install vaex Или установите Vaex с помощью conda из conda-forge: conda install -c conda-forge vaex
Где скачать vaex?
Исходный код и инструкции по установке — на GitHub: https://github.com/vaexio/vaex

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Открытый формат таблиц и файлов для lakehouse-систем с мультимодальными AI-данными, векторным и полнотекстовым поиском и быстрым произвольным доступом к данным в объектном хранилище.

7,3 тыс.+31 за неделю926RustApache-2.0Обновлён 13 часов назад