huggingface/text-embeddings-inference

Что это?

Ключевые возможности

• 01Обслуживает модели эмбеддингов, ранжирования и классификации последовательностей через HTTP REST и gRPC.
• 02Динамически формирует батчи с учётом количества токенов, чтобы эффективнее использовать доступное оборудование.
• 03Работает на CPU, GPU NVIDIA с CUDA, Apple Silicon с Metal и GPU AMD с ROCm.
• 04Загружает веса в форматах Safetensors и ONNX, а модели — из Hugging Face Hub или локальной директории.
• 05Предоставляет трассировку OpenTelemetry, метрики Prometheus и опциональную авторизацию по API key.

Сценарии использования

• Развернуть эндпоинт эмбеддингов для конвейера генерации с дополнением извлечённой информацией (RAG).
• Добавить этап ранжирования с помощью cross-encoder, чтобы улучшить порядок результатов поиска.
• Запускать модели эмбеддингов в изолированной или частной инфраструктуре, используя локальные веса.
• Обслуживать модели эмбеддингов на Mac с Apple Silicon при локальной разработке.

Быстрый старт

1. 1

   Запустите контейнер Docker с моделью (для работы с GPU требуется NVIDIA Container Toolkit)

   docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model
2. 2

   Отправьте запрос на создание эмбеддингов локальному серверу

   curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

Что важно знать

• !Для использования GPU требуются NVIDIA Container Toolkit и драйверы с поддержкой CUDA 12.2 или новее.
• !Поддерживаются только архитектуры моделей, перечисленные в README.

В подборках

Темы

Частые вопросы

Что такое text-embeddings-inference?

Сервер на Rust для развертывания и обслуживания open-source-моделей эмбеддингов текста и ранжирования через HTTP и gRPC. Text Embeddings Inference (TEI) — набор инструментов для развертывания и обслуживания open-source-моделей эмбеддингов текста и классификации последовательностей. Он предоставляет эндпоинты для генерации эмбеддингов, ранжирования пар «запрос — документ» с помощью cross-encoder-моделей и классификации последовательностей, а также справочную документацию OpenAPI/Swagger для REST API.

text-embeddings-inference можно использовать бесплатно? Какая у него лицензия?

text-embeddings-inference распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

text-embeddings-inference всё ещё поддерживается?

Активно поддерживается. Последний коммит в text-embeddings-inference — 6 нояб. 2026 г..

Для чего можно использовать text-embeddings-inference?

Развернуть эндпоинт эмбеддингов для конвейера генерации с дополнением извлечённой информацией (RAG). Добавить этап ранжирования с помощью cross-encoder, чтобы улучшить порядок результатов поиска. Запускать модели эмбеддингов в изолированной или частной инфраструктуре, используя локальные веса. Обслуживать модели эмбеддингов на Mac с Apple Silicon при локальной разработке.

Как установить text-embeddings-inference?

Запустите контейнер Docker с моделью (для работы с GPU требуется NVIDIA Container Toolkit): docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model Отправьте запрос на создание эмбеддингов локальному серверу: curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

Где скачать text-embeddings-inference?

Исходный код и инструкции по установке — на GitHub: https://github.com/huggingface/text-embeddings-inference