Библиотека Python, которая с помощью LLM преобразует PDF, изображения и другие документы в проверенные объекты Pydantic, а также классифицирует и разделяет документы.
Unstructured-IO/unstructured
Библиотека Python с открытым исходным кодом, которая разбивает PDF, HTML, документы Word, письма и другие файлы на структурированные элементы для конвейеров LLM.
- Звёзды
- 15,687
- Форки
- 1,383
- Открытые issues
- 340
- Последний коммит
- 23 часа назад
Что это?
Unstructured — библиотека Python с открытым исходным кодом для загрузки и предварительной обработки документов с изображениями и текстом: PDF, HTML-страниц, файлов Word, писем и других форматов. Функции partition определяют тип файла и преобразуют его содержимое в список типизированных элементов — заголовков, абзацев, таблиц и т. д. Их проще передавать языковым моделям и системам поиска, чем исходный текст.
В библиотеке есть универсальная точка входа partition(), которая направляет каждый файл в функцию для соответствующего формата. Также можно установить только дополнительные зависимости, нужные для работы с определёнными типами документов. Для некоторых форматов требуются дополнительные системные зависимости: например, tesseract для OCR, poppler для PDF и libreoffice для файлов MS Office. Телеметрия отправляется по умолчанию, но её можно отключить с помощью переменных окружения DO_NOT_TRACK или SCARF_NO_ANALYTICS.
Проект также предлагает хостируемый API Transform v2 для получения более качественных результатов, но библиотека с открытым исходным кодом поддерживается как бесплатный компонент.
Ключевые возможности
- 01Разбивает PDF, HTML, документы Word, письма и файлы других форматов на типизированные элементы.
- 02Автоматически определяет тип файла и направляет его в функцию обработки соответствующего формата.
- 03Поддерживает OCR изображений и отсканированных PDF с помощью tesseract.
- 04Позволяет устанавливать дополнительные зависимости отдельно для каждого типа документов, чтобы не раздувать набор зависимостей.
- 05Работает в Docker-контейнере с мультиплатформенными образами.
Сценарии использования
- Подготовка корпоративных документов в виде чистых текстовых фрагментов для генерации с дополнением поиском.
- Извлечение таблиц и заголовков из PDF для последующего анализа данных.
- Преобразование писем и файлов Office в структурированный JSON для конвейеров загрузки данных.
Быстрый старт
- 1
Загрузите образ Docker
docker pull downloads.unstructured.io/unstructured-io/unstructured:latest - 2
Запустите контейнер из образа
docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest - 3
Установите Python SDK с поддержкой всех типов документов
pip install "unstructured[all-docs]" - 4
Разбейте пример файла электронной почты на части с помощью Python
Что важно знать
- Для некоторых типов документов нужны системные пакеты, например tesseract-ocr, poppler-utils или libreoffice.
- Результаты более высокого качества доступны только через платный API Transform v2.
В подборках
Темы
Частые вопросы
- Что такое unstructured?
- Библиотека Python с открытым исходным кодом, которая разбивает PDF, HTML, документы Word, письма и другие файлы на структурированные элементы для конвейеров LLM. Unstructured — библиотека Python с открытым исходным кодом для загрузки и предварительной обработки документов с изображениями и текстом: PDF, HTML-страниц, файлов Word, писем и других форматов. Функции partition определяют тип файла и преобразуют его содержимое в список типизированных элементов — заголовков, абзацев, таблиц и т. д. Их проще передавать языковым моделям и системам поиска, чем исходный текст.
- unstructured можно использовать бесплатно? Какая у него лицензия?
- unstructured распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- unstructured всё ещё поддерживается?
- Активно поддерживается. Последний коммит в unstructured — 6 нояб. 2026 г..
- Для чего можно использовать unstructured?
- Подготовка корпоративных документов в виде чистых текстовых фрагментов для генерации с дополнением поиском. Извлечение таблиц и заголовков из PDF для последующего анализа данных. Преобразование писем и файлов Office в структурированный JSON для конвейеров загрузки данных.
- Как установить unstructured?
- Загрузите образ Docker: docker pull downloads.unstructured.io/unstructured-io/unstructured:latest Запустите контейнер из образа: docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest Установите Python SDK с поддержкой всех типов документов: pip install "unstructured[all-docs]" Разбейте пример файла электронной почты на части с помощью Python
- Где скачать unstructured?
- Исходный код и инструкции по установке — на GitHub: https://github.com/Unstructured-IO/unstructured
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Парсер документов с открытым исходным кодом, который преобразует PDF, файлы Office и изображения в Markdown или JSON для LLM и агентных сценариев.
Парсер документов с открытым исходным кодом: преобразует PDF, файлы Office, HTML и другие форматы в структурированные данные для генеративных AI-пайплайнов.
Парсер документов, преобразующий PDF, Word, PowerPoint, Excel и CSV в текст для LLM и стремящийся сохранить исходное содержимое.
API для обработки документов на собственном сервере: превращает PDF, файлы Office и изображения в готовые для LLM фрагменты с анализом структуры и OCR.
Открытая vision-language OCR-модель Baidu, которая за один проход преобразует длинные многостраничные документы и PDF в структурированный текст.