huggingface/text-embeddings-inference

这是什么？

核心功能

• 01通过 HTTP REST 和 gRPC 提供向量嵌入、重排序和序列分类服务。
• 02基于 token 数量的动态批处理，充分利用硬件资源。
• 03支持 CPU、NVIDIA CUDA GPU、Apple Silicon Metal 和 AMD ROCm GPU。
• 04支持 Safetensors 和 ONNX 权重，可从 Hugging Face Hub 或本地目录加载模型。
• 05提供 OpenTelemetry 追踪、Prometheus 指标和可选的 API Key 鉴权。

适用场景

• 为检索增强生成（RAG）流程部署向量嵌入接口。
• 在搜索结果之后增加交叉编码器重排序步骤，提升排序质量。
• 在离线或私有基础设施中，使用本地权重运行嵌入模型。
• 在 Apple Silicon Mac 上为本地开发提供嵌入模型服务。

快速上手

1. 1

   使用模型运行 Docker 容器（使用 GPU 需要 NVIDIA Container Toolkit）

   docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model
2. 2

   向本地服务发送嵌入请求

   curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

使用前须知

• !使用 GPU 需要安装 NVIDIA Container Toolkit，且驱动需兼容 CUDA 12.2 或更高版本。
• !仅支持 README 中列出的模型架构。

收录于专题

标签

常见问题

text-embeddings-inference 是什么？

用 Rust 编写的推理服务，可通过 HTTP 或 gRPC 部署和提供开源文本向量模型服务。 Text Embeddings Inference（TEI）是一个用于部署和提供开源文本向量模型及序列分类模型服务的工具包。它提供生成文本嵌入、用交叉编码器对查询与文档进行重排序，以及序列分类等接口，并附带 REST API 的 OpenAPI/Swagger 文档。

text-embeddings-inference 可以免费使用吗？用的什么许可证？

text-embeddings-inference 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

text-embeddings-inference 还在维护吗？

活跃维护中。text-embeddings-inference 最近一次提交是在 2026年11月6日。

text-embeddings-inference 适合用来做什么？

为检索增强生成（RAG）流程部署向量嵌入接口。 在搜索结果之后增加交叉编码器重排序步骤，提升排序质量。 在离线或私有基础设施中，使用本地权重运行嵌入模型。 在 Apple Silicon Mac 上为本地开发提供嵌入模型服务。

text-embeddings-inference 怎么安装和运行？

使用模型运行 Docker 容器（使用 GPU 需要 NVIDIA Container Toolkit）: docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 --model-id $model 向本地服务发送嵌入请求: curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

在哪里获取 text-embeddings-inference？

源代码和安装说明在 GitHub 上：https://github.com/huggingface/text-embeddings-inference