huggingface/text-embeddings-inference

O que é?

Recursos principais

• 01Serve modelos de embeddings, reranking e classificação de sequências por HTTP REST e gRPC.
• 02Agrupamento dinâmico por quantidade de tokens para aproveitar o hardware disponível.
• 03Funciona em CPU, GPUs NVIDIA com CUDA, Apple Silicon com Metal e GPUs AMD com ROCm.
• 04Carrega pesos Safetensors e ONNX e busca modelos no Hugging Face Hub ou em um diretório local.
• 05Oferece tracing com OpenTelemetry, métricas do Prometheus e autorização opcional por API key.

Casos de uso

• Hospedar um endpoint de embeddings para um pipeline de geração aumentada por recuperação (RAG).
• Adicionar uma etapa de reranking com cross-encoder para melhorar a ordenação dos resultados de busca.
• Executar modelos de embeddings em infraestrutura privada ou air-gapped com pesos locais.
• Servir modelos de embeddings em Macs com Apple Silicon para desenvolvimento local.

Início rápido

1. 1

   Execute o contêiner Docker com um modelo (o NVIDIA Container Toolkit é necessário para usar a GPU)

   docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model
2. 2

   Envie uma solicitação de embeddings para o servidor local

   curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

Antes de usar

• !Para usar a GPU, são necessários o NVIDIA Container Toolkit e drivers compatíveis com CUDA 12.2 ou superior.
• !O suporte é limitado às arquiteturas de modelo listadas no README.

Em coleções

Tópicos

Perguntas frequentes

O que é text-embeddings-inference?

Servidor baseado em Rust para implantar e servir modelos open source de embeddings de texto e reranking por HTTP e gRPC. Text Embeddings Inference (TEI) é um toolkit para implantar e servir modelos open source de embeddings de texto e classificação de sequências. Ele disponibiliza endpoints para gerar embeddings, reclassificar pares de consulta e documento com modelos cross-encoder e executar classificação de sequências, além de uma referência OpenAPI/Swagger para a REST API.

text-embeddings-inference é gratuito? Qual é a licença?

text-embeddings-inference é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

text-embeddings-inference ainda é mantido?

Manutenção ativa. O último commit de text-embeddings-inference foi em 6 de nov. de 2026.

Para que posso usar text-embeddings-inference?

Hospedar um endpoint de embeddings para um pipeline de geração aumentada por recuperação (RAG). Adicionar uma etapa de reranking com cross-encoder para melhorar a ordenação dos resultados de busca. Executar modelos de embeddings em infraestrutura privada ou air-gapped com pesos locais. Servir modelos de embeddings em Macs com Apple Silicon para desenvolvimento local.

Como instalar text-embeddings-inference?

Execute o contêiner Docker com um modelo (o NVIDIA Container Toolkit é necessário para usar a GPU): docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model Envie uma solicitação de embeddings para o servidor local: curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

Onde consigo text-embeddings-inference?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/huggingface/text-embeddings-inference