Repolode
lumina-ai-inc

lumina-ai-inc/chunkr

API для обработки документов на собственном сервере: превращает PDF, файлы Office и изображения в готовые для LLM фрагменты с анализом структуры и OCR.

Звёзды
4,157
Форки
278
Открытые issues
19
Последний коммит
2 месяца назад

Что это?

Chunkr — сервис обработки документов, который принимает PDF, файлы PowerPoint, документы Word и изображения и преобразует их в структурированные фрагменты для генерации с дополнением извлечёнными данными (RAG) и других конвейеров LLM. Он сочетает анализ структуры, OCR с ограничивающими рамками и обработку с помощью визуально-языковых моделей, чтобы выдавать структурированные HTML и Markdown.

Версия с открытым исходным кодом под лицензией AGPL запускается локально через Docker Compose; доступны конфигурации для GPU и CPU, а веб-интерфейс работает на порту 5173, API — на порту 8000. В проекте используются модели сообщества и модели с открытым исходным кодом. Доступ к LLM настраивается через файл models.yaml или переменные окружения, поддерживающие любые совместимые с OpenAI конечные точки, например OpenAI, OpenRouter, Google AI Studio, а также собственные серверы vLLM и Ollama.

Проект распространяется по двойной лицензии: AGPL-3.0 и коммерческой. Разработчики также предлагают размещённый Cloud API на базе проприетарных моделей, который, по их словам, обеспечивает более высокую точность, чем версия с открытым исходным кодом.

Ключевые возможности

  • 01Анализ структуры документа перед разбиением на фрагменты.
  • 02OCR с ограничивающими рамками, указывающими расположение текста на каждой странице.
  • 03Вывод в виде структурированных HTML и Markdown.
  • 04Поддержка PDF, PPT, документов Word и изображений.
  • 05Работа с любыми совместимыми с OpenAI конечными точками LLM, включая собственные серверы vLLM и Ollama.
  • 06Локальный запуск через Docker Compose в режимах GPU и CPU.

Сценарии использования

  • Подготовка PDF и документов Office в виде фрагментов для конвейера RAG.
  • Извлечение текста и структуры из отсканированных файлов с координатами ограничивающих рамок.
  • Локальный разбор документов, когда данные должны оставаться в собственной инфраструктуре.

Быстрый старт

  1. 1

    Установите Docker и Docker Compose (NVIDIA Container Toolkit — необязательно для использования GPU)

  2. 2

    Клонируйте репозиторий

    git clone https://github.com/lumina-ai-inc/chunkr && cd chunkr
  3. 3

    Скопируйте примеры файлов env и конфигурации models

    cp .env.example .env && cp models.example.yaml models.yaml
  4. 4

    Запустите сервисы (развёртывание с GPU)

    docker compose up -d

Что важно знать

  • В версии с открытым исходным кодом используются модели сообщества, поэтому она менее точна, чем проприетарный Cloud API.
  • Для функций LLM требуется конечная точка LLM или ключ API.
  • Лицензия AGPL-3.0 предусматривает обязательства по копилефту, если не приобрести коммерческую лицензию.
  • В выпуск с открытым исходным кодом не входит поддержка Excel.

В подборках

Темы

Частые вопросы

Что такое chunkr?
API для обработки документов на собственном сервере: превращает PDF, файлы Office и изображения в готовые для LLM фрагменты с анализом структуры и OCR. Chunkr — сервис обработки документов, который принимает PDF, файлы PowerPoint, документы Word и изображения и преобразует их в структурированные фрагменты для генерации с дополнением извлечёнными данными (RAG) и других конвейеров LLM. Он сочетает анализ структуры, OCR с ограничивающими рамками и обработку с помощью визуально-языковых моделей, чтобы выдавать структурированные HTML и Markdown.
chunkr можно использовать бесплатно? Какая у него лицензия?
chunkr распространяется с открытым исходным кодом под лицензией AGPL-3.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
chunkr всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в chunkr — 9 сент. 2026 г..
Для чего можно использовать chunkr?
Подготовка PDF и документов Office в виде фрагментов для конвейера RAG. Извлечение текста и структуры из отсканированных файлов с координатами ограничивающих рамок. Локальный разбор документов, когда данные должны оставаться в собственной инфраструктуре.
Как установить chunkr?
Установите Docker и Docker Compose (NVIDIA Container Toolkit — необязательно для использования GPU) Клонируйте репозиторий: git clone https://github.com/lumina-ai-inc/chunkr && cd chunkr Скопируйте примеры файлов env и конфигурации models: cp .env.example .env && cp models.example.yaml models.yaml Запустите сервисы (развёртывание с GPU): docker compose up -d
Где скачать chunkr?
Исходный код и инструкции по установке — на GitHub: https://github.com/lumina-ai-inc/chunkr

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

MiniCPM-OCR — семейство моделей с открытым исходным кодом для разбора документов и дополнительная модель для оценки точности результатов OCR.

838+196 за неделю60TypeScriptApache-2.0Активно поддерживаетсяОбновлён 9 часов назад

Парсер документов с открытым исходным кодом: преобразует PDF, файлы Office, HTML и другие форматы в структурированные данные для генеративных AI-пайплайнов.

70,2 тыс.+339 за неделю5,3 тыс.PythonMITАктивно поддерживаетсяОбновлён 3 часа назад