Repolode
Unstructured-IO

Unstructured-IO/unstructured

开源 Python 库,把 PDF、HTML、Word、邮件等文档解析为结构化元素,便于用于大模型流程。

Star
15,687
Fork
1,383
未关闭 Issue
340
最近提交
昨天

这是什么?

Unstructured 是一个开源 Python 库,用于读取和预处理 PDF、HTML、Word 文档、邮件等图片和文本文件。它的 partition 函数会识别文件类型,把内容转换为带类型的元素列表(如标题、段落、表格),比直接处理原始文本更适合输入大模型和检索系统。

库提供通用的 partition() 入口,会自动把文件分派给对应格式的解析函数,也可以按需只安装某类文档所需的依赖。处理部分格式时需要安装系统依赖,例如用于 OCR 的 tesseract、用于 PDF 的 poppler,以及用于 Office 文件的 libreoffice。默认会发送匿名遥测数据,可通过 DO_NOT_TRACK 或 SCARF_NO_ANALYTICS 环境变量关闭。

项目还提供托管的 Transform v2 API 以获得更高质量的输出,开源库本身则免费维护。

核心功能

  • 01将 PDF、HTML、Word、邮件等格式解析为带类型的文档元素。
  • 02自动识别文件类型,并调用对应格式的解析函数。
  • 03通过 tesseract 支持图片和扫描 PDF 的 OCR。
  • 04可按文档类型安装可选依赖,保持环境精简。
  • 05提供多平台 Docker 镜像,可直接在容器中运行。

适用场景

  • 将企业文档整理为干净的文本分块,用于检索增强生成(RAG)。
  • 从 PDF 中提取表格和标题,供后续数据分析使用。
  • 把邮件和 Office 文件转换为结构化 JSON,用于数据接入流程。

快速上手

  1. 1

    拉取 Docker 镜像

    docker pull downloads.unstructured.io/unstructured-io/unstructured:latest
  2. 2

    从镜像启动容器

    docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest
  3. 3

    安装支持所有文档类型的 Python SDK

    pip install "unstructured[all-docs]"
  4. 4

    在 Python 中解析示例邮件文件

使用前须知

  • 部分文档类型需要 tesseract-ocr、poppler-utils 或 libreoffice 等系统依赖。
  • 更高质量的输出仅通过付费的 Transform v2 API 提供。

收录于专题

标签

#document-parsing#ocr#pdf#llm#preprocessing#nlp#data-pipelines#deep-learning#document-image-analysis#document-image-processing

常见问题

unstructured 是什么?
开源 Python 库,把 PDF、HTML、Word、邮件等文档解析为结构化元素,便于用于大模型流程。 Unstructured 是一个开源 Python 库,用于读取和预处理 PDF、HTML、Word 文档、邮件等图片和文本文件。它的 partition 函数会识别文件类型,把内容转换为带类型的元素列表(如标题、段落、表格),比直接处理原始文本更适合输入大模型和检索系统。
unstructured 可以免费使用吗?用的什么许可证?
unstructured 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
unstructured 还在维护吗?
活跃维护中。unstructured 最近一次提交是在 2026年11月6日。
unstructured 适合用来做什么?
将企业文档整理为干净的文本分块,用于检索增强生成(RAG)。 从 PDF 中提取表格和标题,供后续数据分析使用。 把邮件和 Office 文件转换为结构化 JSON,用于数据接入流程。
unstructured 怎么安装和运行?
拉取 Docker 镜像: docker pull downloads.unstructured.io/unstructured-io/unstructured:latest 从镜像启动容器: docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest 安装支持所有文档类型的 Python SDK: pip install "unstructured[all-docs]" 在 Python 中解析示例邮件文件
在哪里获取 unstructured?
源代码和安装说明在 GitHub 上:https://github.com/Unstructured-IO/unstructured

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目