Repolode
제출하기
aryn-ai

aryn-ai/sycamore

비정형 문서의 ETL, RAG, 분석을 위한 Python 프레임워크로, AI 기반 분할과 청킹을 지원하고 벡터 및 하이브리드 검색 데이터베이스에 데이터를 적재합니다.

GitHub에서 보기웹사이트
스타
605
포크
71
열린 이슈
56
마지막 커밋
3개월 전

어떤 프로젝트인가요?

Sycamore는 PDF, 보고서, 프레젠테이션, 녹취록, 매뉴얼과 같은 비정형 파일을 정제된 청크 단위 데이터로 변환하는 문서 처리 엔진입니다. 표, 그림, 인포그래픽이 포함된 복잡한 레이아웃을 처리하며, 데이터를 저장하기 전에 LLM 기반 보강, 변환, 정제를 적용할 수 있습니다.

처리는 확장 가능한 Ray 백엔드에서 실행되는 함수형 Python 파이프라인인 DocSet 추상화를 중심으로 구성됩니다. 문서 분할에는 호스팅형 Aryn DocParse 서비스나 로컬에서 실행하는 분할기를 사용할 수 있으며, 변환에 사용할 LLM은 사용자가 선택합니다.

프로젝트는 OpenSearch, Elasticsearch, Pinecone, DuckDB, Qdrant, Weaviate 등의 벡터 및 하이브리드 검색 저장소에 결과를 적재하는 커넥터를 제공하며, pip extras로 설치할 수 있습니다. Linux와 macOS를 지원합니다.

핵심 기능

  • 01레이아웃 감지 모델을 사용해 표, 그림, 인포그래픽이 포함된 PDF와 이미지를 분할합니다
  • 02문서의 확장 가능한 함수형 변환을 위한 DocSet 추상화
  • 03추출, 보강, 정제를 위한 LLM 기반 사용자 정의 함수
  • 04청크를 OpenSearch, Elasticsearch, Pinecone, DuckDB, Qdrant, Weaviate에 적재합니다
  • 05Ray 백엔드에서 처리 규모를 확장합니다

활용 사례

  • RAG 애플리케이션에 사용할 PDF 보고서와 매뉴얼을 준비합니다
  • OpenSearch에서 기업 문서 전체를 대상으로 하이브리드 검색 인덱스를 구축합니다
  • LLM으로 녹취록이나 프레젠테이션에서 구조화된 필드를 추출합니다
  • 벡터 데이터베이스에 적재하기 전에 Jupyter notebook에서 문서 ETL 작업을 실행합니다

빠른 시작

  1. 1

    pip으로 코어 패키지를 설치합니다

    pip install sycamore-ai
  2. 2

    선택 사항으로 DuckDB와 같은 벡터 데이터베이스 커넥터를 설치합니다

    pip install sycamore-ai[duckdb]
  3. 3

    Aryn DocParse 무료 계정에 가입하고 API 키를 발급받습니다

사용 전 알아둘 점

  • README에 따르면 Linux와 Mac OS에서 실행됩니다.
  • Aryn DocParse 서비스를 사용하려면 가입하고 API 키를 발급받아야 합니다.

토픽

#rag#document-processing#etl#vector-database#llm#unstructured-data#semantic-search#ai#dataprep#information-retrieval

자주 묻는 질문

sycamore은(는) 무엇인가요?
비정형 문서의 ETL, RAG, 분석을 위한 Python 프레임워크로, AI 기반 분할과 청킹을 지원하고 벡터 및 하이브리드 검색 데이터베이스에 데이터를 적재합니다. Sycamore는 PDF, 보고서, 프레젠테이션, 녹취록, 매뉴얼과 같은 비정형 파일을 정제된 청크 단위 데이터로 변환하는 문서 처리 엔진입니다. 표, 그림, 인포그래픽이 포함된 복잡한 레이아웃을 처리하며, 데이터를 저장하기 전에 LLM 기반 보강, 변환, 정제를 적용할 수 있습니다.
sycamore은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
sycamore은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
sycamore은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. sycamore의 마지막 커밋은 2026년 8월 1일입니다.
sycamore은(는) 어디에 사용할 수 있나요?
RAG 애플리케이션에 사용할 PDF 보고서와 매뉴얼을 준비합니다 OpenSearch에서 기업 문서 전체를 대상으로 하이브리드 검색 인덱스를 구축합니다 LLM으로 녹취록이나 프레젠테이션에서 구조화된 필드를 추출합니다 벡터 데이터베이스에 적재하기 전에 Jupyter notebook에서 문서 ETL 작업을 실행합니다
sycamore는 어떻게 설치하나요?
pip으로 코어 패키지를 설치합니다: pip install sycamore-ai 선택 사항으로 DuckDB와 같은 벡터 데이터베이스 커넥터를 설치합니다: pip install sycamore-ai[duckdb] Aryn DocParse 무료 계정에 가입하고 API 키를 발급받습니다
sycamore은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/aryn-ai/sycamore

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트