Repolode
Unstructured-IO

Unstructured-IO/unstructured

PDF, HTML, Word, 이메일 등 문서를 LLM 파이프라인용 구조화 요소로 분할하는 오픈소스 Python 라이브러리입니다.

스타
15,687
포크
1,383
열린 이슈
340
마지막 커밋
어제

어떤 프로젝트인가요?

Unstructured는 PDF, HTML 페이지, Word 파일, 이메일처럼 이미지와 텍스트가 포함된 문서를 수집하고 전처리하는 오픈소스 Python 라이브러리입니다. partition 함수는 파일 형식을 감지해 콘텐츠를 제목, 문단, 표 등의 유형별 요소 목록으로 변환합니다. 이러한 요소는 원문 텍스트보다 언어 모델과 검색 시스템에 입력하기 쉽습니다.

라이브러리는 각 파일을 형식에 맞는 함수로 전달하는 범용 partition() 진입점을 제공하며, 특정 문서 유형에 필요한 추가 기능만 설치할 수 있습니다. 일부 형식에서는 OCR용 tesseract, PDF용 poppler, MS Office 파일용 libreoffice 등의 선택적 시스템 의존성이 필요합니다. 기본적으로 텔레메트리를 전송하지만 DO_NOT_TRACK 또는 SCARF_NO_ANALYTICS 환경 변수로 비활성화할 수 있습니다.

프로젝트는 더 높은 품질의 결과를 제공하는 호스팅형 Transform v2 API도 제공하지만, 오픈소스 라이브러리는 무료 구성 요소로 계속 유지됩니다.

핵심 기능

  • 01PDF, HTML, Word, 이메일 등 다양한 형식의 문서를 유형별 요소로 분할합니다.
  • 02파일 형식을 자동으로 감지해 형식별 분할 함수로 전달합니다.
  • 03tesseract를 사용해 이미지와 스캔된 PDF의 OCR을 지원합니다.
  • 04선택적 추가 기능을 통해 문서 유형별로 설치해 의존성을 줄일 수 있습니다.
  • 05멀티플랫폼 이미지를 사용하는 Docker 컨테이너에서 실행할 수 있습니다.

활용 사례

  • 엔터프라이즈 문서를 검색 증강 생성에 사용할 깔끔한 텍스트 청크로 준비합니다.
  • PDF에서 표와 제목을 추출해 후속 데이터 분석에 활용합니다.
  • 이메일과 Office 파일을 수집 파이프라인용 구조화된 JSON으로 변환합니다.

빠른 시작

  1. 1

    Docker 이미지를 가져옵니다

    docker pull downloads.unstructured.io/unstructured-io/unstructured:latest
  2. 2

    이미지에서 컨테이너를 시작합니다

    docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest
  3. 3

    모든 문서 형식을 지원하는 Python SDK를 설치합니다

    pip install "unstructured[all-docs]"
  4. 4

    Python에서 샘플 이메일 파일을 분할합니다

사용 전 알아둘 점

  • 일부 문서 형식에는 tesseract-ocr, poppler-utils, libreoffice와 같은 시스템 패키지가 필요합니다.
  • 더 높은 품질의 출력은 유료 Transform v2 API에서만 제공됩니다.

포함된 컬렉션

토픽

#document-parsing#ocr#pdf#llm#preprocessing#nlp#data-pipelines#deep-learning#document-image-analysis#document-image-processing

자주 묻는 질문

unstructured은(는) 무엇인가요?
PDF, HTML, Word, 이메일 등 문서를 LLM 파이프라인용 구조화 요소로 분할하는 오픈소스 Python 라이브러리입니다. Unstructured는 PDF, HTML 페이지, Word 파일, 이메일처럼 이미지와 텍스트가 포함된 문서를 수집하고 전처리하는 오픈소스 Python 라이브러리입니다. partition 함수는 파일 형식을 감지해 콘텐츠를 제목, 문단, 표 등의 유형별 요소 목록으로 변환합니다. 이러한 요소는 원문 텍스트보다 언어 모델과 검색 시스템에 입력하기 쉽습니다.
unstructured은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
unstructured은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
unstructured은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. unstructured의 마지막 커밋은 2026년 11월 6일입니다.
unstructured은(는) 어디에 사용할 수 있나요?
엔터프라이즈 문서를 검색 증강 생성에 사용할 깔끔한 텍스트 청크로 준비합니다. PDF에서 표와 제목을 추출해 후속 데이터 분석에 활용합니다. 이메일과 Office 파일을 수집 파이프라인용 구조화된 JSON으로 변환합니다.
unstructured는 어떻게 설치하나요?
Docker 이미지를 가져옵니다: docker pull downloads.unstructured.io/unstructured-io/unstructured:latest 이미지에서 컨테이너를 시작합니다: docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest 모든 문서 형식을 지원하는 Python SDK를 설치합니다: pip install "unstructured[all-docs]" Python에서 샘플 이메일 파일을 분할합니다
unstructured은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Unstructured-IO/unstructured

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트