feyninc/chonkie

O que é?

Recursos principais

• 01Várias estratégias de chunking: por tokens, sentenças, recursiva, semântica, para código e baseada em LLM.
• 02As refineries adicionam sobreposição de contexto ou embeddings aos chunks.
• 03Os porters exportam chunks para JSON ou datasets do Hugging Face.
• 04Os handshakes gravam chunks em bancos de dados vetoriais como Qdrant, Pinecone e pgvector.
• 05A API Pipeline permite encadear etapas com execução síncrona ou assíncrona.
• 06API REST self-hosted via CLI ou Docker.

Casos de uso

• Preparar documentos para um pipeline de RAG antes de gerar embeddings e armazená-los em um banco de dados vetorial.
• Comparar diferentes estratégias de chunking no mesmo corpus por meio de uma única interface.
• Dividir código-fonte ou tabelas Markdown usando chunkers que consideram a estrutura.
• Executar um serviço compartilhado de chunking para várias aplicações por meio da API REST.

Início rápido

1. 1

   Instale o Chonkie com pip

   pip install chonkie
2. 2

   Importe um chunker, crie-o e aplique-o ao seu texto

Antes de usar

• !Integrações e chunkers opcionais exigem instalações adicionais, como chonkie[semantic] ou chonkie[tiktoken].
• !A instalação all-in-one está marcada como não recomendada para ambientes de produção.

Em coleções

Tópicos

Perguntas frequentes

O que é chonkie?

Uma biblioteca Python leve para dividir textos em chunks para pipelines de RAG, com vários chunkers, refinadores e integrações com bancos de dados vetoriais. Chonkie é uma biblioteca Python para dividir textos em chunks — a etapa de pré-processamento de que pipelines de geração aumentada por recuperação (RAG) precisam antes de gerar embeddings dos documentos. Ela oferece várias opções de chunking: desde a divisão por quantidade fixa de tokens ou por sentenças até abordagens recursivas, semânticas, para código e baseadas em LLM, todas acessíveis por uma interface simples.

chonkie é gratuito? Qual é a licença?

chonkie é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

chonkie ainda é mantido?

Manutenção ativa. O último commit de chonkie foi em 20 de out. de 2026.

Para que posso usar chonkie?

Preparar documentos para um pipeline de RAG antes de gerar embeddings e armazená-los em um banco de dados vetorial. Comparar diferentes estratégias de chunking no mesmo corpus por meio de uma única interface. Dividir código-fonte ou tabelas Markdown usando chunkers que consideram a estrutura. Executar um serviço compartilhado de chunking para várias aplicações por meio da API REST.

Como instalar chonkie?

Instale o Chonkie com pip: pip install chonkie Importe um chunker, crie-o e aplique-o ao seu texto

Onde consigo chonkie?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/feyninc/chonkie