ucbepic/docetl

Что это?

Ключевые возможности

• 01Операторы map, reduce, filter, resolve, split и gather для обработки данных с помощью LLM.
• 02Определение операций на естественном языке с указанием выходных схем.
• 03Автоматическая оптимизация пайплайнов с заменой моделей и переписыванием промптов.
• 04Python API, YAML-конфигурация с CLI и веб-интерфейс DocWrangler.
• 05Параллельное выполнение операций над набором данных с настройками ограничений частоты запросов.

Сценарии использования

• Извлечение структурированных полей, например жалоб или приоритетов, из больших партий обращений в службу поддержки.
• Суммаризация документов, сгруппированных по категориям, с помощью последовательности map, затем reduce.
• Анализ стенограмм или неструктурированного текста с выдачей результатов в виде таблиц для запросов.

Быстрый старт

1. 1

   Установите пакет с помощью pip

   pip install docetl
2. 2

   Укажите API-ключ поставщика LLM (например, OpenAI)

   export OPENAI_API_KEY=your_key
3. 3

   Создайте YAML-файл конвейера и запустите его через CLI

   docetl run pipeline.yaml

Что важно знать

• !Потребуется API-ключ поставщика LLM, использование которого платное.

Темы

Частые вопросы

Что такое docetl?

Система на Python для запуска LLM-пайплайнов map-reduce и ETL над большими объёмами структурированных и неструктурированных данных по описанию на естественном языке. DocETL — система для обработки больших коллекций структурированных и неструктурированных данных с помощью LLM. Каждая операция задаётся на естественном языке. Система предоставляет такие операторы, как map, reduce, filter, resolve, split и gather, а затем оркестрирует их и распараллеливает обработку всего набора данных. На выходе получаются табличные данные, которые можно запрашивать в базе данных.

docetl можно использовать бесплатно? Какая у него лицензия?

docetl распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

docetl всё ещё поддерживается?

Активно поддерживается. Последний коммит в docetl — 9 окт. 2026 г..

Для чего можно использовать docetl?

Извлечение структурированных полей, например жалоб или приоритетов, из больших партий обращений в службу поддержки. Суммаризация документов, сгруппированных по категориям, с помощью последовательности map, затем reduce. Анализ стенограмм или неструктурированного текста с выдачей результатов в виде таблиц для запросов.

Как установить docetl?

Установите пакет с помощью pip: pip install docetl Укажите API-ключ поставщика LLM (например, OpenAI): export OPENAI_API_KEY=your_key Создайте YAML-файл конвейера и запустите его через CLI: docetl run pipeline.yaml

Где скачать docetl?

Исходный код и инструкции по установке — на GitHub: https://github.com/ucbepic/docetl