ucbepic/docetl

어떤 프로젝트인가요?

핵심 기능

• 01LLM 기반 데이터 처리용 map, reduce, filter, resolve, split, gather 연산자.
• 02출력 스키마를 포함한 자연어 작업 정의.
• 03모델을 교체하고 프롬프트를 다시 작성하는 자동 파이프라인 최적화.
• 04Python API, CLI로 실행하는 YAML 설정, DocWrangler 웹 UI.
• 05속도 제한 제어 기능을 갖춘 데이터셋 전체 병렬 실행.

활용 사례

• 대량의 지원 티켓에서 불만 사항이나 우선순위 같은 구조화된 필드 추출.
• map-then-reduce 워크플로로 범주별 문서 요약.
• 대화록이나 비정형 텍스트를 분석해 쿼리 가능한 표 형식으로 결과 반환.

빠른 시작

1. 1

   pip으로 패키지를 설치합니다

   pip install docetl
2. 2

   LLM 제공업체(예: OpenAI)의 API 키를 설정합니다

   export OPENAI_API_KEY=your_key
3. 3

   파이프라인 YAML 파일을 작성하고 CLI로 실행합니다

   docetl run pipeline.yaml

사용 전 알아둘 점

• !LLM 제공업체의 API 키가 필요하며, 사용 비용이 발생합니다.

토픽

자주 묻는 질문

docetl은(는) 무엇인가요?

자연어로 정의한 대규모 정형·비정형 데이터용 LLM 기반 MapReduce 및 ETL 파이프라인을 실행하는 Python 시스템입니다. DocETL은 LLM을 사용해 대규모 정형·비정형 데이터 컬렉션을 처리하는 시스템입니다. 각 작업은 자연어로 작성하며, 시스템은 map, reduce, filter, resolve, split, gather 등의 연산자를 제공하고 이를 조율해 데이터셋 전체에 작업을 병렬로 수행합니다. 결과는 데이터베이스에서 쿼리할 수 있는 표 형식의 데이터입니다.

docetl은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

docetl은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

docetl은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. docetl의 마지막 커밋은 2026년 10월 9일입니다.

docetl은(는) 어디에 사용할 수 있나요?

대량의 지원 티켓에서 불만 사항이나 우선순위 같은 구조화된 필드 추출. map-then-reduce 워크플로로 범주별 문서 요약. 대화록이나 비정형 텍스트를 분석해 쿼리 가능한 표 형식으로 결과 반환.

docetl는 어떻게 설치하나요?

pip으로 패키지를 설치합니다: pip install docetl LLM 제공업체(예: OpenAI)의 API 키를 설정합니다: export OPENAI_API_KEY=your_key 파이프라인 YAML 파일을 작성하고 CLI로 실행합니다: docetl run pipeline.yaml

docetl은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ucbepic/docetl