Repolode
ucbepic

ucbepic/docetl

Sistema de Python para ejecutar pipelines de map-reduce y ETL con LLM sobre grandes volúmenes de datos estructurados y no estructurados, descritos en lenguaje natural.

Estrellas
4,137
Forks
452
Issues abiertos
47
Último commit
hace 12 días

¿Qué es?

DocETL es un sistema para procesar grandes colecciones de datos estructurados y no estructurados con LLM. Cada operación se define en lenguaje natural y el sistema ofrece operadores como map, reduce, filter, resolve, split y gather; después los coordina y distribuye el trabajo en paralelo por todo el conjunto de datos. El resultado son datos tabulares que se pueden consultar en una base de datos.

El pipeline se puede definir de tres maneras: mediante una API de Python, un archivo de configuración YAML que se ejecuta con la CLI de docetl o la interfaz web de DocWrangler para desarrollar prompts de forma interactiva. El proyecto también incluye un optimizador, MOAR, que intercambia modelos automáticamente, reescribe prompts, descompone operaciones y sustituye subtareas por código para mejorar la precisión y reducir los costos.

DocETL funciona con cualquier proveedor de LLM cuya clave de API esté configurada en el entorno. Está pensado para equipos que, de otro modo, tendrían que escribir y ajustar manualmente cadenas de llamadas a LLM para analizar documentos y realizar tareas de datos similares.

Funciones clave

  • 01Operadores map, reduce, filter, resolve, split y gather para procesar datos con LLM.
  • 02Definición de operaciones en lenguaje natural con esquemas de salida.
  • 03Optimización automática de pipelines mediante el intercambio de modelos y la reescritura de prompts.
  • 04API de Python, configuración YAML con CLI e interfaz web de DocWrangler.
  • 05Ejecución en paralelo en todo el conjunto de datos con controles de límites de solicitudes.

Casos de uso

  • Extraer campos estructurados, como quejas o prioridades, de grandes lotes de tickets de soporte.
  • Resumir documentos agrupados por categoría con un flujo de trabajo de map seguido de reduce.
  • Analizar transcripciones o texto no estructurado y devolver los resultados en tablas para consultarlos.

Inicio rápido

  1. 1

    Instala el paquete con pip

    pip install docetl
  2. 2

    Configura la clave de API de tu proveedor de LLM (por ejemplo, OpenAI)

    export OPENAI_API_KEY=your_key
  3. 3

    Escribe un archivo YAML de pipeline y ejecútalo con la CLI

    docetl run pipeline.yaml

Antes de usarlo

  • Necesitas una clave de API de un proveedor de LLM, lo que genera costes de uso.

Temas

Preguntas frecuentes

¿Qué es docetl?
Sistema de Python para ejecutar pipelines de map-reduce y ETL con LLM sobre grandes volúmenes de datos estructurados y no estructurados, descritos en lenguaje natural. DocETL es un sistema para procesar grandes colecciones de datos estructurados y no estructurados con LLM. Cada operación se define en lenguaje natural y el sistema ofrece operadores como map, reduce, filter, resolve, split y gather; después los coordina y distribuye el trabajo en paralelo por todo el conjunto de datos. El resultado son datos tabulares que se pueden consultar en una base de datos.
¿docetl es gratuito? ¿Qué licencia tiene?
docetl es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿docetl sigue mantenido?
Mantenimiento activo. El último commit de docetl fue el 9 oct 2026.
¿Para qué puedo usar docetl?
Extraer campos estructurados, como quejas o prioridades, de grandes lotes de tickets de soporte. Resumir documentos agrupados por categoría con un flujo de trabajo de map seguido de reduce. Analizar transcripciones o texto no estructurado y devolver los resultados en tablas para consultarlos.
¿Cómo se instala docetl?
Instala el paquete con pip: pip install docetl Configura la clave de API de tu proveedor de LLM (por ejemplo, OpenAI): export OPENAI_API_KEY=your_key Escribe un archivo YAML de pipeline y ejecútalo con la CLI: docetl run pipeline.yaml
¿Dónde consigo docetl?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ucbepic/docetl

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados