feyninc/chonkie

어떤 프로젝트인가요?

핵심 기능

• 01토큰, 문장, 재귀적, 시맨틱, 코드, LLM 기반 등 다양한 청킹 전략을 제공합니다.
• 02정제기로 청크에 문맥 오버랩이나 임베딩을 추가합니다.
• 03포터를 사용해 청크를 JSON 또는 Hugging Face 데이터셋으로 내보냅니다.
• 04핸드셰이크를 통해 청크를 Qdrant, Pinecone, pgvector 등의 벡터 데이터베이스에 기록합니다.
• 05Pipeline API로 단계를 연결하고 동기 및 비동기 방식으로 실행할 수 있습니다.
• 06CLI 또는 Docker를 통해 자체 호스팅 REST API를 실행할 수 있습니다.

활용 사례

• 문서를 임베딩하고 벡터 데이터베이스에 저장하기 전에 RAG 파이프라인에 맞게 준비합니다.
• 하나의 인터페이스에서 동일한 코퍼스에 여러 청킹 전략을 적용해 비교합니다.
• 구조를 고려하는 청커로 소스 코드나 Markdown 표를 청킹합니다.
• REST API를 통해 여러 애플리케이션이 함께 사용하는 청킹 서비스를 운영합니다.

빠른 시작

1. 1

   pip으로 Chonkie를 설치합니다

   pip install chonkie
2. 2

   chunker를 가져와 생성한 다음 텍스트에 호출합니다

사용 전 알아둘 점

• !선택적 통합 기능과 chunker를 사용하려면 chonkie[semantic] 또는 chonkie[tiktoken]과 같은 패키지를 추가로 설치해야 합니다.
• !all-in-one 설치는 프로덕션 환경에 권장되지 않는다고 표시되어 있습니다.

포함된 컬렉션

토픽

자주 묻는 질문

chonkie은(는) 무엇인가요?

RAG 파이프라인용 텍스트 청크 분할을 지원하는 경량 Python 라이브러리로, 다양한 청커와 정제기, 벡터 데이터베이스 연동 기능을 제공합니다. Chonkie는 텍스트를 청크로 나누는 Python 라이브러리입니다. 문서를 임베딩하기 전에 수행해야 하는 전처리 단계로, 검색 증강 생성(RAG) 파이프라인에 필요합니다. 고정 토큰 크기 분할과 문장 단위 분할부터 재귀적·시맨틱·코드·LLM 기반 방식까지 다양한 청커를 간단한 인터페이스로 사용할 수 있습니다.

chonkie은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

chonkie은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

chonkie은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. chonkie의 마지막 커밋은 2026년 10월 20일입니다.

chonkie은(는) 어디에 사용할 수 있나요?

문서를 임베딩하고 벡터 데이터베이스에 저장하기 전에 RAG 파이프라인에 맞게 준비합니다. 하나의 인터페이스에서 동일한 코퍼스에 여러 청킹 전략을 적용해 비교합니다. 구조를 고려하는 청커로 소스 코드나 Markdown 표를 청킹합니다. REST API를 통해 여러 애플리케이션이 함께 사용하는 청킹 서비스를 운영합니다.

chonkie는 어떻게 설치하나요?

pip으로 Chonkie를 설치합니다: pip install chonkie chunker를 가져와 생성한 다음 텍스트에 호출합니다

chonkie은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/feyninc/chonkie