Sistema de Python para ejecutar pipelines de map-reduce y ETL con LLM sobre grandes volúmenes de datos estructurados y no estructurados, descritos en lenguaje natural.
4,2 mil+56 esta semana465PythonMITActualizado hace 8 días
aryn-ai/sycamore
Framework de Python para ETL, RAG y analítica de documentos no estructurados, con particionado, fragmentación y carga asistidos por IA en bases de datos de búsqueda vectorial e híbrida.
- Estrellas
- 605
- Forks
- 71
- Issues abiertos
- 56
- Último commit
- hace 3 meses
¿Qué es?
Sycamore es un motor de procesamiento de documentos que convierte archivos no estructurados, como PDF, informes, presentaciones, transcripciones y manuales, en datos limpios y fragmentados. Gestiona diseños complejos que incluyen tablas, figuras e infografías incrustadas, y puede aplicar enriquecimiento, transformaciones y limpieza basados en LLM antes de almacenar los datos.
El procesamiento se organiza en torno a la abstracción DocSet, una pipeline funcional basada en Python que se ejecuta en un backend escalable de Ray. El particionado de documentos puede usar el servicio alojado Aryn DocParse o un particionador ejecutado localmente, y los usuarios eligen qué LLM utilizan las transformaciones.
El proyecto incluye conectores para cargar los resultados en almacenes de búsqueda vectorial e híbrida, como OpenSearch, Elasticsearch, Pinecone, DuckDB, Qdrant y Weaviate, que se pueden instalar como extras de pip. Es compatible con Linux y macOS.
Funciones clave
- 01Particiona PDF e imágenes con tablas, figuras e infografías mediante un modelo de detección de diseños
- 02Abstracción DocSet para realizar transformaciones funcionales y escalables de documentos
- 03Funciones definidas por el usuario y basadas en LLM para extraer, enriquecer y limpiar datos
- 04Carga fragmentos en OpenSearch, Elasticsearch, Pinecone, DuckDB, Qdrant y Weaviate
- 05Escala el procesamiento mediante un backend de Ray
Casos de uso
- Preparar informes y manuales en PDF para una aplicación RAG
- Crear un índice de búsqueda híbrida sobre documentos empresariales en OpenSearch
- Extraer campos estructurados de transcripciones o presentaciones con LLM
- Ejecutar trabajos de ETL de documentos en un notebook de Jupyter antes de cargarlos en una base de datos vectorial
Inicio rápido
- 1
Instala el paquete principal con pip
pip install sycamore-ai - 2
Opcionalmente, instala un conector de base de datos vectorial, como DuckDB
pip install sycamore-ai[duckdb] - 3
Regístrate para obtener una cuenta gratuita de Aryn DocParse y consigue una clave de API
Antes de usarlo
- Según el README, funciona en Linux y Mac OS.
- Para usar el servicio Aryn DocParse, es necesario registrarse y obtener una clave de API.
Temas
Preguntas frecuentes
- ¿Qué es sycamore?
- Framework de Python para ETL, RAG y analítica de documentos no estructurados, con particionado, fragmentación y carga asistidos por IA en bases de datos de búsqueda vectorial e híbrida. Sycamore es un motor de procesamiento de documentos que convierte archivos no estructurados, como PDF, informes, presentaciones, transcripciones y manuales, en datos limpios y fragmentados. Gestiona diseños complejos que incluyen tablas, figuras e infografías incrustadas, y puede aplicar enriquecimiento, transformaciones y limpieza basados en LLM antes de almacenar los datos.
- ¿sycamore es gratuito? ¿Qué licencia tiene?
- sycamore es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿sycamore sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de sycamore fue el 1 ago 2026.
- ¿Para qué puedo usar sycamore?
- Preparar informes y manuales en PDF para una aplicación RAG Crear un índice de búsqueda híbrida sobre documentos empresariales en OpenSearch Extraer campos estructurados de transcripciones o presentaciones con LLM Ejecutar trabajos de ETL de documentos en un notebook de Jupyter antes de cargarlos en una base de datos vectorial
- ¿Cómo se instala sycamore?
- Instala el paquete principal con pip: pip install sycamore-ai Opcionalmente, instala un conector de base de datos vectorial, como DuckDB: pip install sycamore-ai[duckdb] Regístrate para obtener una cuenta gratuita de Aryn DocParse y consigue una clave de API
- ¿Dónde consigo sycamore?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/aryn-ai/sycamore
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Sistema de memoria de IA local-first que almacena el historial de conversaciones íntegro y lo recupera mediante búsqueda semántica, disponible como servidor MCP y CLI.
60,4 mil+287 esta semana7,7 milPythonMITActualizado hace 23 horas
Base de datos de embeddings de código abierto para aplicaciones de IA, que almacena documentos y vectores para habilitar búsquedas semánticas, híbridas y de texto completo.
29,6 mil+38 esta semana2,6 milRustApache-2.0Actualizado hace 8 días
Capa de memoria en un solo archivo para agentes de IA, que almacena embeddings, índices de búsqueda y metadatos en un archivo .mv2, sin una canalización RAG basada en servidor.
17,4 mil1,5 milRustApache-2.0Actualizado hace 4 meses
Backend FastAPI para un agente conversacional RAG que indexa documentos en Qdrant, realiza búsquedas semánticas e híbridas y responde preguntas con LLM.
25744PythonMITBien mantenidoActualizado hace 8 días
Toolkit de recuperación de BAAI con modelos de embeddings y reranking BGE, además de herramientas de entrenamiento, evaluación y tutoriales para búsqueda y RAG.
12,3 mil+11 esta semana946PythonMITActualizado hace 11 días