Plataforma open source para mover datos en pipelines ELT desde APIs, bases de datos y archivos hacia almacenes, lagos y aplicaciones de IA.
ucbepic/docetl
Sistema de Python para ejecutar pipelines de map-reduce y ETL con LLM sobre grandes volúmenes de datos estructurados y no estructurados, descritos en lenguaje natural.
- Estrellas
- 4,137
- Forks
- 452
- Issues abiertos
- 47
- Último commit
- hace 12 días
¿Qué es?
DocETL es un sistema para procesar grandes colecciones de datos estructurados y no estructurados con LLM. Cada operación se define en lenguaje natural y el sistema ofrece operadores como map, reduce, filter, resolve, split y gather; después los coordina y distribuye el trabajo en paralelo por todo el conjunto de datos. El resultado son datos tabulares que se pueden consultar en una base de datos.
El pipeline se puede definir de tres maneras: mediante una API de Python, un archivo de configuración YAML que se ejecuta con la CLI de docetl o la interfaz web de DocWrangler para desarrollar prompts de forma interactiva. El proyecto también incluye un optimizador, MOAR, que intercambia modelos automáticamente, reescribe prompts, descompone operaciones y sustituye subtareas por código para mejorar la precisión y reducir los costos.
DocETL funciona con cualquier proveedor de LLM cuya clave de API esté configurada en el entorno. Está pensado para equipos que, de otro modo, tendrían que escribir y ajustar manualmente cadenas de llamadas a LLM para analizar documentos y realizar tareas de datos similares.
Funciones clave
- 01Operadores map, reduce, filter, resolve, split y gather para procesar datos con LLM.
- 02Definición de operaciones en lenguaje natural con esquemas de salida.
- 03Optimización automática de pipelines mediante el intercambio de modelos y la reescritura de prompts.
- 04API de Python, configuración YAML con CLI e interfaz web de DocWrangler.
- 05Ejecución en paralelo en todo el conjunto de datos con controles de límites de solicitudes.
Casos de uso
- Extraer campos estructurados, como quejas o prioridades, de grandes lotes de tickets de soporte.
- Resumir documentos agrupados por categoría con un flujo de trabajo de map seguido de reduce.
- Analizar transcripciones o texto no estructurado y devolver los resultados en tablas para consultarlos.
Inicio rápido
- 1
Instala el paquete con pip
pip install docetl - 2
Configura la clave de API de tu proveedor de LLM (por ejemplo, OpenAI)
export OPENAI_API_KEY=your_key - 3
Escribe un archivo YAML de pipeline y ejecútalo con la CLI
docetl run pipeline.yaml
Antes de usarlo
- Necesitas una clave de API de un proveedor de LLM, lo que genera costes de uso.
Temas
Preguntas frecuentes
- ¿Qué es docetl?
- Sistema de Python para ejecutar pipelines de map-reduce y ETL con LLM sobre grandes volúmenes de datos estructurados y no estructurados, descritos en lenguaje natural. DocETL es un sistema para procesar grandes colecciones de datos estructurados y no estructurados con LLM. Cada operación se define en lenguaje natural y el sistema ofrece operadores como map, reduce, filter, resolve, split y gather; después los coordina y distribuye el trabajo en paralelo por todo el conjunto de datos. El resultado son datos tabulares que se pueden consultar en una base de datos.
- ¿docetl es gratuito? ¿Qué licencia tiene?
- docetl es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿docetl sigue mantenido?
- Mantenimiento activo. El último commit de docetl fue el 9 oct 2026.
- ¿Para qué puedo usar docetl?
- Extraer campos estructurados, como quejas o prioridades, de grandes lotes de tickets de soporte. Resumir documentos agrupados por categoría con un flujo de trabajo de map seguido de reduce. Analizar transcripciones o texto no estructurado y devolver los resultados en tablas para consultarlos.
- ¿Cómo se instala docetl?
- Instala el paquete con pip: pip install docetl Configura la clave de API de tu proveedor de LLM (por ejemplo, OpenAI): export OPENAI_API_KEY=your_key Escribe un archivo YAML de pipeline y ejecútalo con la CLI: docetl run pipeline.yaml
- ¿Dónde consigo docetl?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ucbepic/docetl
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Framework de Python para crear aplicaciones de RAG, agentes y procesamiento de documentos que conectan LLM con tus propios datos.
Sistema de procesamiento de datos con más de 200 operadores componibles para limpiar, filtrar, deduplicar y sintetizar datos de texto, imagen, audio y video para entrenar modelos fundacionales.
Toolkit acelerado por GPU para crear pipelines reproducibles que filtran, deduplican y transforman grandes conjuntos de datos de texto, imágenes, video y audio para entrenar IA.
Sistema de memoria para agentes que almacena, recupera y analiza recuerdos para que los agentes de IA aprendan con el tiempo, en lugar de limitarse a repetir el historial del chat.
Plataforma autoalojada para crear agentes y asistentes de IA que responden preguntas sobre tus documentos, con citas y cualquier modelo.