Repolode
Unstructured-IO

Unstructured-IO/unstructured

Библиотека Python с открытым исходным кодом, которая разбивает PDF, HTML, документы Word, письма и другие файлы на структурированные элементы для конвейеров LLM.

Звёзды
15,687
Форки
1,383
Открытые issues
340
Последний коммит
23 часа назад

Что это?

Unstructured — библиотека Python с открытым исходным кодом для загрузки и предварительной обработки документов с изображениями и текстом: PDF, HTML-страниц, файлов Word, писем и других форматов. Функции partition определяют тип файла и преобразуют его содержимое в список типизированных элементов — заголовков, абзацев, таблиц и т. д. Их проще передавать языковым моделям и системам поиска, чем исходный текст.

В библиотеке есть универсальная точка входа partition(), которая направляет каждый файл в функцию для соответствующего формата. Также можно установить только дополнительные зависимости, нужные для работы с определёнными типами документов. Для некоторых форматов требуются дополнительные системные зависимости: например, tesseract для OCR, poppler для PDF и libreoffice для файлов MS Office. Телеметрия отправляется по умолчанию, но её можно отключить с помощью переменных окружения DO_NOT_TRACK или SCARF_NO_ANALYTICS.

Проект также предлагает хостируемый API Transform v2 для получения более качественных результатов, но библиотека с открытым исходным кодом поддерживается как бесплатный компонент.

Ключевые возможности

  • 01Разбивает PDF, HTML, документы Word, письма и файлы других форматов на типизированные элементы.
  • 02Автоматически определяет тип файла и направляет его в функцию обработки соответствующего формата.
  • 03Поддерживает OCR изображений и отсканированных PDF с помощью tesseract.
  • 04Позволяет устанавливать дополнительные зависимости отдельно для каждого типа документов, чтобы не раздувать набор зависимостей.
  • 05Работает в Docker-контейнере с мультиплатформенными образами.

Сценарии использования

  • Подготовка корпоративных документов в виде чистых текстовых фрагментов для генерации с дополнением поиском.
  • Извлечение таблиц и заголовков из PDF для последующего анализа данных.
  • Преобразование писем и файлов Office в структурированный JSON для конвейеров загрузки данных.

Быстрый старт

  1. 1

    Загрузите образ Docker

    docker pull downloads.unstructured.io/unstructured-io/unstructured:latest
  2. 2

    Запустите контейнер из образа

    docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest
  3. 3

    Установите Python SDK с поддержкой всех типов документов

    pip install "unstructured[all-docs]"
  4. 4

    Разбейте пример файла электронной почты на части с помощью Python

Что важно знать

  • Для некоторых типов документов нужны системные пакеты, например tesseract-ocr, poppler-utils или libreoffice.
  • Результаты более высокого качества доступны только через платный API Transform v2.

В подборках

Темы

#document-parsing#ocr#pdf#llm#preprocessing#nlp#data-pipelines#deep-learning#document-image-analysis#document-image-processing

Частые вопросы

Что такое unstructured?
Библиотека Python с открытым исходным кодом, которая разбивает PDF, HTML, документы Word, письма и другие файлы на структурированные элементы для конвейеров LLM. Unstructured — библиотека Python с открытым исходным кодом для загрузки и предварительной обработки документов с изображениями и текстом: PDF, HTML-страниц, файлов Word, писем и других форматов. Функции partition определяют тип файла и преобразуют его содержимое в список типизированных элементов — заголовков, абзацев, таблиц и т. д. Их проще передавать языковым моделям и системам поиска, чем исходный текст.
unstructured можно использовать бесплатно? Какая у него лицензия?
unstructured распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
unstructured всё ещё поддерживается?
Активно поддерживается. Последний коммит в unstructured — 6 нояб. 2026 г..
Для чего можно использовать unstructured?
Подготовка корпоративных документов в виде чистых текстовых фрагментов для генерации с дополнением поиском. Извлечение таблиц и заголовков из PDF для последующего анализа данных. Преобразование писем и файлов Office в структурированный JSON для конвейеров загрузки данных.
Как установить unstructured?
Загрузите образ Docker: docker pull downloads.unstructured.io/unstructured-io/unstructured:latest Запустите контейнер из образа: docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest Установите Python SDK с поддержкой всех типов документов: pip install "unstructured[all-docs]" Разбейте пример файла электронной почты на части с помощью Python
Где скачать unstructured?
Исходный код и инструкции по установке — на GitHub: https://github.com/Unstructured-IO/unstructured

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Библиотека Python, которая с помощью LLM преобразует PDF, изображения и другие документы в проверенные объекты Pydantic, а также классифицирует и разделяет документы.

1,6 тыс.+1 за неделю156PythonApache-2.0Активно поддерживаетсяОбновлён 2 месяца назад

Парсер документов с открытым исходным кодом: преобразует PDF, файлы Office, HTML и другие форматы в структурированные данные для генеративных AI-пайплайнов.

70,2 тыс.+339 за неделю5,3 тыс.PythonMITАктивно поддерживаетсяОбновлён 9 часов назад