StarlightSearch/EmbedAnything

어떤 프로젝트인가요?

핵심 기능

• 01dense, sparse, ONNX, Model2Vec, late-interaction 임베딩을 생성합니다.
• 02PyTorch 없이 Candle 또는 ONNX Runtime에서 모델을 실행합니다.
• 03PDF, 텍스트, Markdown, 이미지, 오디오, 웹사이트, S3 버킷의 데이터를 가져옵니다.
• 04고정 크기, 문장 단위, 시맨틱, late-chunking 전략을 제공합니다.
• 05임베딩을 Qdrant, Weaviate, Milvus 등의 벡터 데이터베이스에 스트리밍합니다.
• 06Python 바인딩과 사전 빌드된 Docker 서버 이미지를 제공합니다.

활용 사례

• PDF와 문서를 벡터 데이터베이스에 인덱싱하는 RAG 파이프라인 구축.
• PyTorch를 설치하지 않고 로컬 머신이나 클라우드 서버에서 임베딩 생성.
• 대규모 파일 모음을 처리하는 동안 S3 버킷에서 데이터를 인덱싱.
• dense 임베딩과 SPLADE sparse 임베딩을 결합한 하이브리드 검색 실행.

빠른 시작

1. 1

   README의 Installation 섹션에 안내된 대로 Python 패키지를 설치합니다

2. 2

   README의 사용 예제를 참고해 모델을 로드하고 파일을 임베딩합니다

사용 전 알아둘 점

• !Cohere와 같은 클라우드 모델을 사용하려면 본인의 API 키가 필요합니다.
• !액세스가 제한된 Hugging Face 저장소와 같은 일부 모델에는 액세스 토큰이 필요합니다.

토픽

자주 묻는 질문

EmbedAnything은(는) 무엇인가요?

Rust 기반 임베딩 파이프라인으로, 텍스트·PDF·이미지·오디오·웹사이트를 입력받아 로컬 또는 클라우드 모델로 임베딩을 생성하고 벡터 데이터베이스에 스트리밍합니다. EmbedAnything은 Python 바인딩을 제공하는 Rust 기반 임베딩 파이프라인입니다. 텍스트, PDF, Markdown, 이미지, 오디오, 웹사이트, S3 버킷 등 다양한 소스의 파일을 가져와 청크로 나누고 임베딩을 생성한 뒤, 결과를 벡터 데이터베이스에 스트리밍합니다. 지원하는 모델 유형에는 dense, sparse(SPLADE), ONNX, Model2Vec, late-interaction(ColBERT, ColPali) 임베딩이 있으며, reranker도 지원합니다.

EmbedAnything은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

EmbedAnything은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

EmbedAnything은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. EmbedAnything의 마지막 커밋은 2026년 10월 26일입니다.

EmbedAnything은(는) 어디에 사용할 수 있나요?

PDF와 문서를 벡터 데이터베이스에 인덱싱하는 RAG 파이프라인 구축. PyTorch를 설치하지 않고 로컬 머신이나 클라우드 서버에서 임베딩 생성. 대규모 파일 모음을 처리하는 동안 S3 버킷에서 데이터를 인덱싱. dense 임베딩과 SPLADE sparse 임베딩을 결합한 하이브리드 검색 실행.

EmbedAnything는 어떻게 설치하나요?

README의 Installation 섹션에 안내된 대로 Python 패키지를 설치합니다 README의 사용 예제를 참고해 모델을 로드하고 파일을 임베딩합니다

EmbedAnything은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/StarlightSearch/EmbedAnything