huggingface/text-embeddings-inference

¿Qué es?

Funciones clave

• 01Sirve modelos de embeddings, reranking y clasificación de secuencias mediante HTTP REST y gRPC.
• 02Agrupamiento dinámico basado en la cantidad de tokens para aprovechar el hardware disponible.
• 03Se ejecuta en CPU, GPU NVIDIA con CUDA, Apple Silicon con Metal y GPU AMD con ROCm.
• 04Carga pesos Safetensors y ONNX, y descarga modelos de Hugging Face Hub o de un directorio local.
• 05Ofrece trazas de OpenTelemetry, métricas de Prometheus y autorización opcional mediante API key.

Casos de uso

• Alojar un endpoint de embeddings para un pipeline de generación aumentada por recuperación (RAG).
• Añadir una etapa de reranking con cross-encoder para mejorar el orden de los resultados de búsqueda.
• Ejecutar modelos de embeddings en infraestructura privada o aislada de la red con pesos locales.
• Servir modelos de embeddings en Mac con Apple Silicon para desarrollo local.

Inicio rápido

1. 1

   Ejecuta el contenedor Docker con un modelo (se necesita NVIDIA Container Toolkit para usar la GPU)

   docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model
2. 2

   Envía una solicitud de embeddings al servidor local

   curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

Antes de usarlo

• !Para usar la GPU se necesita NVIDIA Container Toolkit y controladores compatibles con CUDA 12.2 o superior.
• !La compatibilidad se limita a las arquitecturas de modelo indicadas en el README.

En colecciones

Temas

Preguntas frecuentes

¿Qué es text-embeddings-inference?

Servidor basado en Rust para desplegar y servir modelos open source de embeddings de texto y reranking mediante HTTP y gRPC. Text Embeddings Inference (TEI) es un conjunto de herramientas para desplegar y servir modelos open source de embeddings de texto y clasificación de secuencias. Expone endpoints para generar embeddings, reordenar pares de consultas y documentos con modelos cross-encoder y ejecutar clasificación de secuencias, además de ofrecer una referencia OpenAPI/Swagger para la API REST.

¿text-embeddings-inference es gratuito? ¿Qué licencia tiene?

text-embeddings-inference es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿text-embeddings-inference sigue mantenido?

Mantenimiento activo. El último commit de text-embeddings-inference fue el 6 nov 2026.

¿Para qué puedo usar text-embeddings-inference?

Alojar un endpoint de embeddings para un pipeline de generación aumentada por recuperación (RAG). Añadir una etapa de reranking con cross-encoder para mejorar el orden de los resultados de búsqueda. Ejecutar modelos de embeddings en infraestructura privada o aislada de la red con pesos locales. Servir modelos de embeddings en Mac con Apple Silicon para desarrollo local.

¿Cómo se instala text-embeddings-inference?

Ejecuta el contenedor Docker con un modelo (se necesita NVIDIA Container Toolkit para usar la GPU): docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model Envía una solicitud de embeddings al servidor local: curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

¿Dónde consigo text-embeddings-inference?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/huggingface/text-embeddings-inference