Base de datos de embeddings de código abierto para aplicaciones de IA, que almacena documentos y vectores para habilitar búsquedas semánticas, híbridas y de texto completo.
29,6 mil2,6 milRustApache-2.0Actualizado hace 4 horas
feyninc/chonkie
Una biblioteca ligera de Python para dividir texto en fragmentos para pipelines RAG, con varios segmentadores, refinadores e integraciones con bases de datos vectoriales.
- Estrellas
- 4,801
- Forks
- 364
- Issues abiertos
- 49
- Último commit
- anteayer
¿Qué es?
Chonkie es una biblioteca de Python para dividir texto en fragmentos, un paso de preprocesamiento que los pipelines de generación aumentada por recuperación (RAG) necesitan antes de generar embeddings de documentos. Ofrece varios segmentadores: desde la división por tamaño fijo de tokens o por oraciones hasta métodos recursivos, semánticos, orientados a código y basados en LLM, todos accesibles mediante una interfaz sencilla.
Además de segmentar, Chonkie incluye refinadores que añaden solapamiento o embeddings a los fragmentos, porters que los exportan a JSON o a datasets de Hugging Face y handshakes que los escriben directamente en almacenes vectoriales como Chroma, Qdrant, Pinecone, pgvector y Weaviate. Una API de Pipeline encadena estos pasos y permite ejecutarlos de forma síncrona o asíncrona. La instalación básica ocupa poco, y las funciones opcionales se añaden según lo que se necesite.
Chonkie también puede ejecutarse como una API REST autohospedada mediante el comando `chonkie serve` o Docker, e incluye una skill para asistentes de programación con IA.
Funciones clave
- 01Varias estrategias de segmentación: por tokens, oraciones, de forma recursiva, semántica, orientada a código y basada en LLM.
- 02Los refinadores añaden solapamiento de contexto o embeddings a los fragmentos.
- 03Los porters exportan fragmentos a JSON o a datasets de Hugging Face.
- 04Los handshakes escriben fragmentos en bases de datos vectoriales como Qdrant, Pinecone y pgvector.
- 05La API de Pipeline permite encadenar pasos y ejecutarlos de forma síncrona o asíncrona.
- 06API REST autohospedada mediante CLI o Docker.
Casos de uso
- Preparar documentos para un pipeline RAG antes de generar embeddings y almacenarlos en una base de datos vectorial.
- Comparar distintas estrategias de segmentación en un mismo corpus mediante una sola interfaz.
- Segmentar código fuente o tablas Markdown con segmentadores que tienen en cuenta la estructura.
- Ejecutar un servicio de segmentación compartido por varias aplicaciones mediante la API REST.
Inicio rápido
- 1
Instala Chonkie con pip
pip install chonkie - 2
Importa un chunker, créalo y aplícalo al texto
Antes de usarlo
- Las integraciones y los chunkers opcionales requieren instalaciones adicionales, como chonkie[semantic] o chonkie[tiktoken].
- La instalación all-in-one está marcada como no recomendada para entornos de producción.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es chonkie?
- Una biblioteca ligera de Python para dividir texto en fragmentos para pipelines RAG, con varios segmentadores, refinadores e integraciones con bases de datos vectoriales. Chonkie es una biblioteca de Python para dividir texto en fragmentos, un paso de preprocesamiento que los pipelines de generación aumentada por recuperación (RAG) necesitan antes de generar embeddings de documentos. Ofrece varios segmentadores: desde la división por tamaño fijo de tokens o por oraciones hasta métodos recursivos, semánticos, orientados a código y basados en LLM, todos accesibles mediante una interfaz sencilla.
- ¿chonkie es gratuito? ¿Qué licencia tiene?
- chonkie es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿chonkie sigue mantenido?
- Mantenimiento activo. El último commit de chonkie fue el 20 oct 2026.
- ¿Para qué puedo usar chonkie?
- Preparar documentos para un pipeline RAG antes de generar embeddings y almacenarlos en una base de datos vectorial. Comparar distintas estrategias de segmentación en un mismo corpus mediante una sola interfaz. Segmentar código fuente o tablas Markdown con segmentadores que tienen en cuenta la estructura. Ejecutar un servicio de segmentación compartido por varias aplicaciones mediante la API REST.
- ¿Cómo se instala chonkie?
- Instala Chonkie con pip: pip install chonkie Importa un chunker, créalo y aplícalo al texto
- ¿Dónde consigo chonkie?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/feyninc/chonkie
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Índice vectorial local y toolkit de RAG que reduce el almacenamiento cerca de un 97 % al recalcular embeddings bajo demanda, para buscar datos personales en tu laptop.
13,1 mil1,2 milPythonMITActualizado hace 17 horas
Epsilla es una base de datos vectorial open source en C++ para búsquedas de similitud entre embeddings, con filtros de metadatos, búsqueda híbrida e integraciones de recuperación para LLM.
87445C++Apache-2.0Actualizado hace 19 días
Toolkit de recuperación de BAAI con modelos de embeddings y reranking BGE, además de herramientas de entrenamiento, evaluación y tutoriales para búsqueda y RAG.
12,3 mil939PythonMITActualizado hace 2 meses
Framework de TypeScript para crear aplicaciones y agentes con LLM, con interfaces estándar para modelos, herramientas, embeddings y almacenes vectoriales.
18,3 mil3,5 milTypeScriptMITActualizado hace 3 horas
Milvus es una base de datos vectorial distribuida y de código abierto para almacenar y buscar embeddings a gran escala, utilizada en búsquedas con IA y aplicaciones RAG.
46,5 mil4,3 milGoApache-2.0Actualizado hace 4 horas