Парсер документов с открытым исходным кодом, который преобразует PDF, файлы Office и изображения в Markdown или JSON для LLM и агентных сценариев.
lumina-ai-inc/chunkr
API для обработки документов на собственном сервере: превращает PDF, файлы Office и изображения в готовые для LLM фрагменты с анализом структуры и OCR.
- Звёзды
- 4,157
- Форки
- 278
- Открытые issues
- 19
- Последний коммит
- 2 месяца назад
Что это?
Chunkr — сервис обработки документов, который принимает PDF, файлы PowerPoint, документы Word и изображения и преобразует их в структурированные фрагменты для генерации с дополнением извлечёнными данными (RAG) и других конвейеров LLM. Он сочетает анализ структуры, OCR с ограничивающими рамками и обработку с помощью визуально-языковых моделей, чтобы выдавать структурированные HTML и Markdown.
Версия с открытым исходным кодом под лицензией AGPL запускается локально через Docker Compose; доступны конфигурации для GPU и CPU, а веб-интерфейс работает на порту 5173, API — на порту 8000. В проекте используются модели сообщества и модели с открытым исходным кодом. Доступ к LLM настраивается через файл models.yaml или переменные окружения, поддерживающие любые совместимые с OpenAI конечные точки, например OpenAI, OpenRouter, Google AI Studio, а также собственные серверы vLLM и Ollama.
Проект распространяется по двойной лицензии: AGPL-3.0 и коммерческой. Разработчики также предлагают размещённый Cloud API на базе проприетарных моделей, который, по их словам, обеспечивает более высокую точность, чем версия с открытым исходным кодом.
Ключевые возможности
- 01Анализ структуры документа перед разбиением на фрагменты.
- 02OCR с ограничивающими рамками, указывающими расположение текста на каждой странице.
- 03Вывод в виде структурированных HTML и Markdown.
- 04Поддержка PDF, PPT, документов Word и изображений.
- 05Работа с любыми совместимыми с OpenAI конечными точками LLM, включая собственные серверы vLLM и Ollama.
- 06Локальный запуск через Docker Compose в режимах GPU и CPU.
Сценарии использования
- Подготовка PDF и документов Office в виде фрагментов для конвейера RAG.
- Извлечение текста и структуры из отсканированных файлов с координатами ограничивающих рамок.
- Локальный разбор документов, когда данные должны оставаться в собственной инфраструктуре.
Быстрый старт
- 1
Установите Docker и Docker Compose (NVIDIA Container Toolkit — необязательно для использования GPU)
- 2
Клонируйте репозиторий
git clone https://github.com/lumina-ai-inc/chunkr && cd chunkr - 3
Скопируйте примеры файлов env и конфигурации models
cp .env.example .env && cp models.example.yaml models.yaml - 4
Запустите сервисы (развёртывание с GPU)
docker compose up -d
Что важно знать
- В версии с открытым исходным кодом используются модели сообщества, поэтому она менее точна, чем проприетарный Cloud API.
- Для функций LLM требуется конечная точка LLM или ключ API.
- Лицензия AGPL-3.0 предусматривает обязательства по копилефту, если не приобрести коммерческую лицензию.
- В выпуск с открытым исходным кодом не входит поддержка Excel.
В подборках
Темы
Частые вопросы
- Что такое chunkr?
- API для обработки документов на собственном сервере: превращает PDF, файлы Office и изображения в готовые для LLM фрагменты с анализом структуры и OCR. Chunkr — сервис обработки документов, который принимает PDF, файлы PowerPoint, документы Word и изображения и преобразует их в структурированные фрагменты для генерации с дополнением извлечёнными данными (RAG) и других конвейеров LLM. Он сочетает анализ структуры, OCR с ограничивающими рамками и обработку с помощью визуально-языковых моделей, чтобы выдавать структурированные HTML и Markdown.
- chunkr можно использовать бесплатно? Какая у него лицензия?
- chunkr распространяется с открытым исходным кодом под лицензией AGPL-3.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- chunkr всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в chunkr — 9 сент. 2026 г..
- Для чего можно использовать chunkr?
- Подготовка PDF и документов Office в виде фрагментов для конвейера RAG. Извлечение текста и структуры из отсканированных файлов с координатами ограничивающих рамок. Локальный разбор документов, когда данные должны оставаться в собственной инфраструктуре.
- Как установить chunkr?
- Установите Docker и Docker Compose (NVIDIA Container Toolkit — необязательно для использования GPU) Клонируйте репозиторий: git clone https://github.com/lumina-ai-inc/chunkr && cd chunkr Скопируйте примеры файлов env и конфигурации models: cp .env.example .env && cp models.example.yaml models.yaml Запустите сервисы (развёртывание с GPU): docker compose up -d
- Где скачать chunkr?
- Исходный код и инструкции по установке — на GitHub: https://github.com/lumina-ai-inc/chunkr
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Модель с открытым исходным кодом для разбора документов: преобразует PDF и изображения документов в Markdown или JSON с координатами элементов для конвейеров AI-агентов.
Открытая vision-language OCR-модель Baidu, которая за один проход преобразует длинные многостраничные документы и PDF в структурированный текст.
Мультимодальная OCR-модель с 0,9 млрд параметров и SDK для извлечения текста, таблиц, формул и структуры из сложных документов.
MiniCPM-OCR — семейство моделей с открытым исходным кодом для разбора документов и дополнительная модель для оценки точности результатов OCR.
Парсер документов с открытым исходным кодом: преобразует PDF, файлы Office, HTML и другие форматы в структурированные данные для генеративных AI-пайплайнов.