Библиотека Python для интерактивного визуального анализа pandas-, polars- и pyarrow-датафреймов с помощью drag-and-drop в Jupyter.
Data-Centric-AI-Community/fg-data-profiling
Python-библиотека, которая формирует подробный отчет об исследовательском анализе и качестве данных для pandas- и Spark DataFrame; отчет можно экспортировать в HTML или JSON.
- Звёзды
- 13,752
- Форки
- 1,804
- Открытые issues
- 340
- Последний коммит
- 3 дня назад
Что это?
fg-data-profiling — Python-пакет, который одним вызовом выполняет расширенный исследовательский анализ DataFrame. По смыслу он похож на pandas describe(), но предоставляет гораздо больше подробностей. В отчете представлены определение типов, одномерная статистика и распределения, корреляции, пропущенные данные, дубликаты строк, свойства временных рядов — например, автокорреляция и сезонность, — а также анализ текстовых столбцов, файлов и изображений.
В отчет входят обзор, список предупреждений о возможных проблемах качества данных — например, высокой корреляции, асимметрии, постоянных значениях, нулях и пропусках — и раздел с параметрами анализа для его воспроизведения. Также можно сравнить два набора данных в одном отчете.
Результаты можно экспортировать в автономный HTML-файл или JSON для автоматизированных конвейеров, а также отображать в виде виджетов или iframe внутри Jupyter Notebook. Утилита командной строки обрабатывает CSV-файлы, а поддержка Spark DataFrame доступна через дополнительный пакет.
Ключевые возможности
- 01Формирование полного отчета профилирования одним вызовом для pandas DataFrame.
- 02Автоматическое определение типов и расчет одномерной статистики с графиками распределений.
- 03Анализ корреляций и пропущенных данных, обнаружение дубликатов строк.
- 04Анализ временных рядов, включая графики ACF и PACF и выявление сезонности.
- 05Список предупреждений о проблемах качества данных, таких как асимметрия и постоянные значения.
- 06Экспорт в HTML и JSON, отображение в виджетах Jupyter и интерфейс командной строки.
Сценарии использования
- Быстро разобраться в незнакомом наборе данных перед построением модели.
- Проверять качество данных в конвейере с помощью вывода в JSON.
- Сравнивать две версии набора данных, например до и после предобработки.
- Передавать заинтересованным сторонам отчет профилирования в виде автономного HTML-файла.
Быстрый старт
- 1
Установите пакет с помощью pip
pip install fg-data-profiling - 2
Импортируйте pandas и класс ProfileReport, затем создайте DataFrame
- 3
Сгенерируйте стандартный отчет профилирования
profile = ProfileReport(df, title="Profiling Report") - 4
Экспортируйте отчет в файл HTML
profile.to_file("your_report.html")
Что важно знать
- Старый пакет ydata-profiling больше не поддерживается, поэтому существующим пользователям необходимо перейти на пакет с новым названием и обновить импорты.
- Поддержка Spark есть, но в README отмечено, что работа над ней еще продолжается и проекту нужны дополнительные участники.
В подборках
Темы
Частые вопросы
- Что такое fg-data-profiling?
- Python-библиотека, которая формирует подробный отчет об исследовательском анализе и качестве данных для pandas- и Spark DataFrame; отчет можно экспортировать в HTML или JSON. fg-data-profiling — Python-пакет, который одним вызовом выполняет расширенный исследовательский анализ DataFrame. По смыслу он похож на pandas describe(), но предоставляет гораздо больше подробностей. В отчете представлены определение типов, одномерная статистика и распределения, корреляции, пропущенные данные, дубликаты строк, свойства временных рядов — например, автокорреляция и сезонность, — а также анализ текстовых столбцов, файлов и изображений.
- fg-data-profiling можно использовать бесплатно? Какая у него лицензия?
- fg-data-profiling распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- fg-data-profiling всё ещё поддерживается?
- Активно поддерживается. Последний коммит в fg-data-profiling — 5 нояб. 2026 г..
- Для чего можно использовать fg-data-profiling?
- Быстро разобраться в незнакомом наборе данных перед построением модели. Проверять качество данных в конвейере с помощью вывода в JSON. Сравнивать две версии набора данных, например до и после предобработки. Передавать заинтересованным сторонам отчет профилирования в виде автономного HTML-файла.
- Как установить fg-data-profiling?
- Установите пакет с помощью pip: pip install fg-data-profiling Импортируйте pandas и класс ProfileReport, затем создайте DataFrame Сгенерируйте стандартный отчет профилирования: profile = ProfileReport(df, title="Profiling Report") Экспортируйте отчет в файл HTML: profile.to_file("your_report.html")
- Где скачать fg-data-profiling?
- Исходный код и инструкции по установке — на GitHub: https://github.com/Data-Centric-AI-Community/fg-data-profiling
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Python-библиотека для контроля качества данных: команды описывают декларативные Expectations как unit-тесты и формируют отчёты о проверках.
Python-инструментарий для исследования торговых стратегий: он тестирует тысячи идей на разных активах и таймфреймах с помощью векторизованных операций NumPy и pandas.
Лёгкая библиотека Python для описания преобразований данных в виде тестируемых, документируемых DAG, которые можно запускать везде, где работает Python.
Учебная программа Microsoft для начинающих: 10 недель, 20 уроков по основам data science с Python, тестами и проектами.
Подборка ресурсов по Data Science на Python: библиотеки, учебные материалы, книги, датасеты и доклады.