huggingface/text-embeddings-inference

어떤 프로젝트인가요?

핵심 기능

• 01임베딩, 리랭킹, 시퀀스 분류 모델을 HTTP REST와 gRPC로 제공합니다.
• 02사용 가능한 하드웨어를 활용하도록 토큰 수를 기준으로 동적 배칭을 수행합니다.
• 03CPU, NVIDIA CUDA GPU, Apple Silicon Metal, AMD ROCm GPU에서 실행됩니다.
• 04Safetensors 및 ONNX 가중치를 불러오며, Hugging Face Hub 또는 로컬 디렉터리에서 모델을 가져옵니다.
• 05OpenTelemetry 트레이싱, Prometheus 메트릭, 선택적 API 키 인증을 제공합니다.

활용 사례

• 검색 증강 생성(RAG) 파이프라인용 임베딩 엔드포인트를 호스팅합니다.
• 검색 결과 순서를 개선하기 위해 크로스 인코더 리랭킹 단계를 추가합니다.
• 로컬 가중치를 사용해 에어갭 환경이나 프라이빗 인프라에서 임베딩 모델을 실행합니다.
• 로컬 개발을 위해 Apple Silicon Mac에서 임베딩 모델을 제공합니다.

빠른 시작

1. 1

   모델을 지정해 Docker 컨테이너를 실행합니다(GPU 사용에는 NVIDIA Container Toolkit이 필요합니다)

   docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model
2. 2

   로컬 서버에 임베딩 요청을 보냅니다

   curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

사용 전 알아둘 점

• !GPU를 사용하려면 NVIDIA Container Toolkit과 CUDA 12.2 이상을 지원하는 드라이버가 필요합니다.
• !지원되는 모델 아키텍처는 README에 나열된 것으로 제한됩니다.

포함된 컬렉션

토픽

자주 묻는 질문

text-embeddings-inference은(는) 무엇인가요?

오픈소스 텍스트 임베딩 및 리랭커 모델을 HTTP와 gRPC로 배포하고 제공하는 Rust 기반 서버입니다. Text Embeddings Inference(TEI)는 오픈소스 텍스트 임베딩 및 시퀀스 분류 모델을 배포하고 제공하는 툴킷입니다. 임베딩 생성, 크로스 인코더 모델을 사용한 쿼리-문서 쌍 리랭킹, 시퀀스 분류를 위한 엔드포인트를 제공하며 REST API용 OpenAPI/Swagger 레퍼런스도 지원합니다.

text-embeddings-inference은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

text-embeddings-inference은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

text-embeddings-inference은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. text-embeddings-inference의 마지막 커밋은 2026년 11월 6일입니다.

text-embeddings-inference은(는) 어디에 사용할 수 있나요?

검색 증강 생성(RAG) 파이프라인용 임베딩 엔드포인트를 호스팅합니다. 검색 결과 순서를 개선하기 위해 크로스 인코더 리랭킹 단계를 추가합니다. 로컬 가중치를 사용해 에어갭 환경이나 프라이빗 인프라에서 임베딩 모델을 실행합니다. 로컬 개발을 위해 Apple Silicon Mac에서 임베딩 모델을 제공합니다.

text-embeddings-inference는 어떻게 설치하나요?

모델을 지정해 Docker 컨테이너를 실행합니다(GPU 사용에는 NVIDIA Container Toolkit이 필요합니다): docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model 로컬 서버에 임베딩 요청을 보냅니다: curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

text-embeddings-inference은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/huggingface/text-embeddings-inference