Repolode
lumina-ai-inc

lumina-ai-inc/chunkr

API de inteligência documental auto-hospedada que transforma PDFs, arquivos do Office e imagens em chunks prontos para LLM, com análise de layout e OCR.

Estrelas
4,157
Forks
278
Issues abertas
19
Último commit
há 2 meses

O que é?

Chunkr é um serviço de processamento de documentos que recebe PDFs, arquivos do PowerPoint, documentos do Word e imagens e os divide em chunks estruturados para geração aumentada por recuperação e outros pipelines de LLM. Ele combina análise de layout, OCR com caixas delimitadoras e processamento por modelos de visão e linguagem para gerar HTML e Markdown estruturados.

A versão open source, licenciada sob AGPL, roda localmente com Docker Compose, oferece configurações para GPU e CPU e inclui uma interface web na porta 5173 e uma API na porta 8000. Ela usa modelos comunitários e de código aberto. O acesso a LLMs é configurado por meio de um arquivo models.yaml ou de variáveis de ambiente compatíveis com qualquer endpoint compatível com OpenAI, como OpenAI, OpenRouter, Google AI Studio ou servidores vLLM e Ollama auto-hospedados.

O projeto é distribuído sob dupla licença: AGPL-3.0 e uma licença comercial. Os mantenedores também oferecem uma Cloud API hospedada, que usa modelos proprietários e, segundo eles, oferece maior precisão do que a versão open source.

Recursos principais

  • 01Análise de layout que identifica a estrutura do documento antes de dividi-lo em chunks.
  • 02OCR com caixas delimitadoras que indicam a localização do texto em cada página.
  • 03Gera conteúdo em HTML e Markdown estruturados.
  • 04Compatível com PDF, PPT, documentos do Word e imagens.
  • 05Funciona com qualquer endpoint de LLM compatível com OpenAI, incluindo vLLM e Ollama auto-hospedados.
  • 06Roda localmente com Docker Compose, em modo GPU ou CPU.

Casos de uso

  • Preparar PDFs e documentos do Office como chunks para um pipeline de RAG.
  • Extrair texto e layout de arquivos digitalizados com coordenadas de caixas delimitadoras.
  • Executar a análise de documentos localmente quando os dados precisam permanecer na sua própria infraestrutura.

Início rápido

  1. 1

    Instale o Docker e o Docker Compose (o NVIDIA Container Toolkit é opcional para usar GPU)

  2. 2

    Clone o repositório

    git clone https://github.com/lumina-ai-inc/chunkr && cd chunkr
  3. 3

    Copie os arquivos de exemplo env e de configuração models

    cp .env.example .env && cp models.example.yaml models.yaml
  4. 4

    Inicie os serviços (implantação com GPU)

    docker compose up -d

Antes de usar

  • A versão de código aberto usa modelos da comunidade e é menos precisa que a Cloud API proprietária.
  • Os recursos de LLM exigem um endpoint de LLM ou uma chave de API.
  • A licença AGPL-3.0 impõe obrigações de copyleft, a menos que você adquira uma licença comercial.
  • A versão de código aberto não inclui suporte ao Excel.

Em coleções

Tópicos

Perguntas frequentes

O que é chunkr?
API de inteligência documental auto-hospedada que transforma PDFs, arquivos do Office e imagens em chunks prontos para LLM, com análise de layout e OCR. Chunkr é um serviço de processamento de documentos que recebe PDFs, arquivos do PowerPoint, documentos do Word e imagens e os divide em chunks estruturados para geração aumentada por recuperação e outros pipelines de LLM. Ele combina análise de layout, OCR com caixas delimitadoras e processamento por modelos de visão e linguagem para gerar HTML e Markdown estruturados.
chunkr é gratuito? Qual é a licença?
chunkr é open source sob a licença AGPL-3.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
chunkr ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de chunkr foi em 9 de set. de 2026.
Para que posso usar chunkr?
Preparar PDFs e documentos do Office como chunks para um pipeline de RAG. Extrair texto e layout de arquivos digitalizados com coordenadas de caixas delimitadoras. Executar a análise de documentos localmente quando os dados precisam permanecer na sua própria infraestrutura.
Como instalar chunkr?
Instale o Docker e o Docker Compose (o NVIDIA Container Toolkit é opcional para usar GPU) Clone o repositório: git clone https://github.com/lumina-ai-inc/chunkr && cd chunkr Copie os arquivos de exemplo env e de configuração models: cp .env.example .env && cp models.example.yaml models.yaml Inicie os serviços (implantação com GPU): docker compose up -d
Onde consigo chunkr?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/lumina-ai-inc/chunkr

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados