Repolode
Data-Centric-AI-Community

Data-Centric-AI-Community/fg-data-profiling

Python-библиотека, которая формирует подробный отчет об исследовательском анализе и качестве данных для pandas- и Spark DataFrame; отчет можно экспортировать в HTML или JSON.

Звёзды
13,752
Форки
1,804
Открытые issues
340
Последний коммит
3 дня назад

Что это?

fg-data-profiling — Python-пакет, который одним вызовом выполняет расширенный исследовательский анализ DataFrame. По смыслу он похож на pandas describe(), но предоставляет гораздо больше подробностей. В отчете представлены определение типов, одномерная статистика и распределения, корреляции, пропущенные данные, дубликаты строк, свойства временных рядов — например, автокорреляция и сезонность, — а также анализ текстовых столбцов, файлов и изображений.

В отчет входят обзор, список предупреждений о возможных проблемах качества данных — например, высокой корреляции, асимметрии, постоянных значениях, нулях и пропусках — и раздел с параметрами анализа для его воспроизведения. Также можно сравнить два набора данных в одном отчете.

Результаты можно экспортировать в автономный HTML-файл или JSON для автоматизированных конвейеров, а также отображать в виде виджетов или iframe внутри Jupyter Notebook. Утилита командной строки обрабатывает CSV-файлы, а поддержка Spark DataFrame доступна через дополнительный пакет.

Ключевые возможности

  • 01Формирование полного отчета профилирования одним вызовом для pandas DataFrame.
  • 02Автоматическое определение типов и расчет одномерной статистики с графиками распределений.
  • 03Анализ корреляций и пропущенных данных, обнаружение дубликатов строк.
  • 04Анализ временных рядов, включая графики ACF и PACF и выявление сезонности.
  • 05Список предупреждений о проблемах качества данных, таких как асимметрия и постоянные значения.
  • 06Экспорт в HTML и JSON, отображение в виджетах Jupyter и интерфейс командной строки.

Сценарии использования

  • Быстро разобраться в незнакомом наборе данных перед построением модели.
  • Проверять качество данных в конвейере с помощью вывода в JSON.
  • Сравнивать две версии набора данных, например до и после предобработки.
  • Передавать заинтересованным сторонам отчет профилирования в виде автономного HTML-файла.

Быстрый старт

  1. 1

    Установите пакет с помощью pip

    pip install fg-data-profiling
  2. 2

    Импортируйте pandas и класс ProfileReport, затем создайте DataFrame

  3. 3

    Сгенерируйте стандартный отчет профилирования

    profile = ProfileReport(df, title="Profiling Report")
  4. 4

    Экспортируйте отчет в файл HTML

    profile.to_file("your_report.html")

Что важно знать

  • Старый пакет ydata-profiling больше не поддерживается, поэтому существующим пользователям необходимо перейти на пакет с новым названием и обновить импорты.
  • Поддержка Spark есть, но в README отмечено, что работа над ней еще продолжается и проекту нужны дополнительные участники.

В подборках

Темы

#data-profiling#data-quality#eda#pandas#data-analysis#jupyter#time-series#big-data-analytics#data-exploration#data-science

Частые вопросы

Что такое fg-data-profiling?
Python-библиотека, которая формирует подробный отчет об исследовательском анализе и качестве данных для pandas- и Spark DataFrame; отчет можно экспортировать в HTML или JSON. fg-data-profiling — Python-пакет, который одним вызовом выполняет расширенный исследовательский анализ DataFrame. По смыслу он похож на pandas describe(), но предоставляет гораздо больше подробностей. В отчете представлены определение типов, одномерная статистика и распределения, корреляции, пропущенные данные, дубликаты строк, свойства временных рядов — например, автокорреляция и сезонность, — а также анализ текстовых столбцов, файлов и изображений.
fg-data-profiling можно использовать бесплатно? Какая у него лицензия?
fg-data-profiling распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
fg-data-profiling всё ещё поддерживается?
Активно поддерживается. Последний коммит в fg-data-profiling — 5 нояб. 2026 г..
Для чего можно использовать fg-data-profiling?
Быстро разобраться в незнакомом наборе данных перед построением модели. Проверять качество данных в конвейере с помощью вывода в JSON. Сравнивать две версии набора данных, например до и после предобработки. Передавать заинтересованным сторонам отчет профилирования в виде автономного HTML-файла.
Как установить fg-data-profiling?
Установите пакет с помощью pip: pip install fg-data-profiling Импортируйте pandas и класс ProfileReport, затем создайте DataFrame Сгенерируйте стандартный отчет профилирования: profile = ProfileReport(df, title="Profiling Report") Экспортируйте отчет в файл HTML: profile.to_file("your_report.html")
Где скачать fg-data-profiling?
Исходный код и инструкции по установке — на GitHub: https://github.com/Data-Centric-AI-Community/fg-data-profiling

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Python-инструментарий для исследования торговых стратегий: он тестирует тысячи идей на разных активах и таймфреймах с помощью векторизованных операций NumPy и pandas.

9,7 тыс.+114 за неделю1,3 тыс.PythonOtherОбновлён 4 дня назад