Repolode
Data-Centric-AI-Community

Data-Centric-AI-Community/fg-data-profiling

一行代码为 pandas 和 Spark DataFrame 生成数据质量与探索性分析报告,可导出 HTML 或 JSON。

Star
13,752
Fork
1,804
未关闭 Issue
340
最近提交
前天

这是什么?

fg-data-profiling 是一个 Python 库,只需一行调用即可对 DataFrame 做扩展的探索性数据分析,比 pandas 的 describe() 信息更全面。生成的报告涵盖类型推断、单变量统计与分布、相关性、缺失值、重复行,以及自相关、季节性等时间序列特征,还能分析文本、文件和图片类字段。

报告包含概览、警告列表和复现信息三部分。警告列表会标出高相关、偏度、常量值、零值、缺失值等潜在数据质量问题;复现信息记录分析时间、版本和配置。它还支持用一份报告比较两个数据集。

报告可导出为独立的 HTML 文件或 JSON,便于接入自动化流程;在 Jupyter Notebook 中可以以组件或内嵌 iframe 形式展示。命令行工具可处理 CSV 文件,通过可选依赖也支持 Spark DataFrame。

核心功能

  • 01一行代码从 pandas DataFrame 生成完整的分析报告。
  • 02自动类型推断,并给出单变量统计与分布图。
  • 03提供相关性、缺失值分析和重复行检测。
  • 04包含时间序列分析,如 ACF、PACF 图和季节性。
  • 05警告列表标出偏度、常量值等数据质量问题。
  • 06支持导出 HTML、JSON,可在 Jupyter 中展示,也提供命令行工具。

适用场景

  • 在建模前快速了解一个陌生数据集。
  • 通过 JSON 输出在数据管道中检查数据质量问题。
  • 比较同一数据集在预处理前后的两个版本。
  • 将分析报告导出为独立 HTML 文件分享给团队或业务方。

快速上手

  1. 1

    使用 pip 安装该包

    pip install fg-data-profiling
  2. 2

    导入 pandas 和 ProfileReport 类并创建 DataFrame

  3. 3

    生成标准分析报告

    profile = ProfileReport(df, title="Profiling Report")
  4. 4

    将报告导出为 HTML 文件

    profile.to_file("your_report.html")

使用前须知

  • 旧版 ydata-profiling 已不再维护,现有用户需迁移到更名后的包并更新导入语句。
  • Spark 支持已存在,但 README 指出仍在开发中,需要更多贡献者。

收录于专题

标签

#data-profiling#data-quality#eda#pandas#data-analysis#jupyter#time-series#big-data-analytics#data-exploration#data-science

常见问题

fg-data-profiling 是什么?
一行代码为 pandas 和 Spark DataFrame 生成数据质量与探索性分析报告,可导出 HTML 或 JSON。 fg-data-profiling 是一个 Python 库,只需一行调用即可对 DataFrame 做扩展的探索性数据分析,比 pandas 的 describe() 信息更全面。生成的报告涵盖类型推断、单变量统计与分布、相关性、缺失值、重复行,以及自相关、季节性等时间序列特征,还能分析文本、文件和图片类字段。
fg-data-profiling 可以免费使用吗?用的什么许可证?
fg-data-profiling 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
fg-data-profiling 还在维护吗?
活跃维护中。fg-data-profiling 最近一次提交是在 2026年11月5日。
fg-data-profiling 适合用来做什么?
在建模前快速了解一个陌生数据集。 通过 JSON 输出在数据管道中检查数据质量问题。 比较同一数据集在预处理前后的两个版本。 将分析报告导出为独立 HTML 文件分享给团队或业务方。
fg-data-profiling 怎么安装和运行?
使用 pip 安装该包: pip install fg-data-profiling 导入 pandas 和 ProfileReport 类并创建 DataFrame 生成标准分析报告: profile = ProfileReport(df, title="Profiling Report") 将报告导出为 HTML 文件: profile.to_file("your_report.html")
在哪里获取 fg-data-profiling?
源代码和安装说明在 GitHub 上:https://github.com/Data-Centric-AI-Community/fg-data-profiling

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目